algorithm - 训练神经网络的反向传播

Question

我想使用 this article用于神经网络构建，但我遇到了权重向量更新算法的一些问题。具体来说，使用公式 marked red .任何人都可以帮助我理解什么是 hm(i) 和符号“|”方法？

Answer 1

这看起来像 back-propagation神经网络训练误差梯度的计算。 Bishop (第 244 页)列出了一个关键公式:

δj = h'(aj) SUM(k, wkj δk)

δ 是隐藏节点或输出节点的预测值和标记值之间的误差。右侧的 δ 项已经计算出来，对应于正在考虑的下一层输出方向。

h' 项是非线性 activation function 的导数，通常是 sigmoid function或 tanh。您的图像中列出的 hm 看起来像 tanh 的导数，但变量有所变化。

竖线是求值语法:f(t) = f(x) |吨。我不太清楚你图片中的表情是什么；我可能是错的。