machine-learning - 每个神经元的神经网络偏差

Question

我一直在关注 Andrew NG 关于神经网络的视频。在这些视频中，他并没有将偏见与每个神经元联系起来。相反，他在计算激活值后在每一层的头部添加一个偏置单元，并使用该偏置和计算来计算下一层的激活值(前向传播)。

但是，在其他一些有关机器学习的博客和视频中，例如 this ，每个神经元都存在一个偏差。这种差异是什么、为什么以及它的含义是什么？

Answer 1

两种方法都代表相同的偏差概念。对于每个单元(不包括输入节点)，您计算前一层(在前馈网络的情况下)向量的权重和激活的点积加上标量偏差值的激活函数值:

 (w * a) + b

在 Andrew Ng 中，这个值是使用矢量化技巧计算的，其中您将激活与指定的偏差常量(通常为 1)连接起来，这样就可以完成工作(因为这个常量)不同的节点有自己的权重 - 因此这与每个节点有另一个偏差值完全相同)。