machine-learning - 如何更新神经网络反向传播中的偏差？

Question

有人可以向我解释一下如何在整个反向传播过程中更新偏差吗？

我读了很多书，但找不到偏见更新!

我知道偏差是一个额外的输入 1，并附加了一个权重(对于每个神经元)。一定有一个公式。

Answer 1

遵循 Rojas 1996, chapter 7 的符号，反向传播计算误差函数E的偏导数(又名成本，又名损失)

∂E/∂w[i,j] = delta[j] * o[i]

其中w[i,j]是神经元i和j、j之间连接的权重> 在网络中比 i 高一层，并且 o[i] 是 i 的输出(激活)(在以下情况下) “输入层”，这只是正在考虑的训练样本中特征i的值)。如何确定delta在任何教科书中都有给出，并且取决于激活函数，所以这里不再重复。

这些值可以用于权重更新，例如

// update rule for vanilla online gradient descent
w[i,j] -= gamma * o[i] * delta[j]

其中gamma是学习率。

偏置权重的规则非常相似，只是没有来自前一层的输入。相反，偏差(概念上)是由固定激活值为 1 的神经元的输入引起的。因此，偏差权重的更新规则是

bias[j] -= gamma_bias * 1 * delta[j]

其中bias[j]是神经元j上的偏置权重，与1的乘法显然可以省略，而gamma_bias可以设置为gamma或其他值。如果我没记错的话，较低的值是首选，尽管我不确定其理论依据。