machine-learning - 如何调整权重——反向传播

Question

这个问题已经有答案了:

How does a back-propagation training algorithm work? (4 个回答)

已关闭 4 年前。

我决定使用遗传算法来训练神经网络。它们将通过遗传而发展，其中一个(众多)可 rebase 因应该具有转移功能。

所以，我需要更深入地研究数学，这确实很耗时。

例如，我有三种转移功能基因变体。

1)对数sigmoid函数

2)tan sigmoid函数

3)高斯函数

传递函数基因的特点之一应该是它可以修改函数的参数以获得不同形状的函数。

现在，我还没有能力解决的问题:

我的神经网络输出有错误，如何通过具有不同参数的不同函数将其转移到权重上？根据我的研究，我认为这与导数和梯度下降有关。

我是高级数学菜鸟。有人可以用简单的例子解释一下如何通过参数化(例如)sigmoid 函数将误差传播回权重吗？

编辑我还在做研究，现在我不确定我是否误解了反向传播。我找到了这个文档 http://www.google.cz/url?sa=t&rct=j&q=backpropagation+algorithm+sigmoid+examples&source=web&cd=10&ved=0CHwQFjAJ&url=http%3A%2F%2Fwww4.rgu.ac.uk%2Ffiles%2Fchapter3%2520-%2520bp.pdf&ei=ZF9CT-7PIsak4gTRypiiCA&usg=AFQjCNGWZjabH5ALbDLgSOBak-BTRGmS3g他们有一些计算权重的例子，其中不涉及传递函数到权重调整中。

那么权值调整中是否不需要引入传递函数呢？

Answer 1

反向传播确实与导数和梯度下降有关。
我认为真正理解数学没有任何捷径，但这可能会有所帮助——我为其他有基本相同问题的人写了它，并且至少应该在高层次上解释发生了什么以及为什么。

How does a back-propagation training algorithm work?