machine-learning - 前馈神经网络反向传播算法假设

Question

在反向传播期间，似乎假设隐藏层中创建的任何错误仅影响更高的一层(例如，请参阅推导 here，特别是方程 16)。

也就是说，在计算 dE/dy_j 时，推导表明它使用链式法则，但它仅区分索引为 I_j 的节点(即仅区分索引为 1 的节点)层高于y_j)。为什么在这个计算中会忽略更高层？我们也可以通过考虑 x_{i+1} =\sum_i w_{i,i+1} f(\sum_{j} w_ {j,i} y_j)(显然具有 y_j 依赖性)。

Answer 1

更高层不会被忽略。在公式 16 中，dE/dy_i 中的 E 是最终输出的误差，因此梯度已经包含了所有后续层的影响。这就是反向传播的全部意义。您从输出处的误差开始，计算相对于前一层的梯度。然后，您使用该梯度来计算下一个上一层的梯度，等等。

您可以按照您所描述的操作进行操作，但这会导致公式更加复杂。反向传播公式的一个方便/高效的方面是，由于您只需要对后续层使用误差项，因此无论总共有 3 层、4 层还是 50 层都没关系。您可以应用相同的简单公式每个隐藏层，当您向后通过网络时累积链式规则项。