machine-learning - 神经网络 : Calculating Error In Hidden Layers

Question

我是神经网络新手，正在尝试构建一个具有超过 1 个隐藏层的超简单神经网络。

在神经网络的训练阶段调整权重时，权重调整的程度部分取决于该神经元对下一层神经元贡献的“多少误差”。因此，我们需要知道下一层的误差。

计算起来很简单，只有 1 个隐藏层，因为我们的训练数据已经为我们提供了预期的输出，所以我们只需要使用输出层(简单地说，目标输出)。当存在多个隐藏层时，计算误差变得非常重要。也就是说，如果我们有 10 个隐藏层并且位于第 5 层，我们如何知道第 6 层的误差是多少？

谢谢

Answer 1

假设我们的神经网络输出值 和实际的地面真相通过损失函数相关，例如均方误差(回归情况):

地点:

和 是图层 的权重，和是应用于同一层所有神经元响应的激活函数。

为了从输出层传播模型权重的误差，我们只需在误差损失函数和取决于模型参数(权重或偏差)的因子之间应用链式法则。例如，让我们找到与损失函数和输出层权重相关的误差导数: 如下:

正如您可以推断的那样，我们可以通过每次激活 应用相同的过程来计算误差导数。直到网络的较低层。例如，让我们将误差反向传播到层 :

这个过程也可以应用于偏置，直到输入层之前的层 .

我希望这篇反向传播总结能让您对神经网络(在本例中为前馈神经网络)的实际实现有一些实际的了解。如果你想了解更多关于反向传播的详细信息，我邀请你咨询斯坦福大学的UFLDL tutorial反向传播:

另外，如果你想了解更多关于卷积神经网络的知识，它更适合计算机视觉应用，我推荐CS231n类(class)笔记(其中也有关于反向传播的类(class))，它们可以在 here 获得。 .