artificial-intelligence - 反向传播问题

Question

我有几个关于如何编写神经网络的反向传播算法的问题:

我的网络拓扑结构是输入层、隐藏层和输出层。隐藏层和输出层都有sigmoid函数。

1. 首先，我应该使用偏差吗？我应该将偏差连接到哪里在我的网络中？我应该放一个偏见吗每层单元都隐藏层和输出层？关于什么输入层？
2. 在此link ，他们将最后一个增量定义为输入 - 输出，然后反向传播增量，如图所示。他们拿着一张 table 放实际上之前的所有增量传播错误前馈时尚。这是一个偏离标准反向传播算法？
3. 我应该减少学习吗时间因素？
4. 万一有人知道，是有弹性的在线或批量传播学习技巧？

谢谢

编辑还有一件事。下图中，d f1(e)/de，假设我用的是sigmoid函数，就是f1(e) * [1- f1(e)]，对吧？

Answer 1

1. 它会有所不同。就个人而言，我看不出有太多偏见的原因，但我对 NN 的研究还不够多，无法真正提出支持或反对它们的有效案例。我会尝试并测试结果。

2. 没错。反向传播首先涉及计算增量，然后将它们传播到整个网络。

3. 是的。学习因素应该随着时间的推移而减少。但是，对于 BP，您可能会遇到局部的、不正确的高原，因此有时在第 500 次迭代左右，将学习因子重置为初始速率是有意义的。

4. 我无法回答这个问题......从未听说过任何关于 RP 的信息。