neural-network - 在神经网络中，偏差项有权重吗？

Question

我正在尝试编写自己的神经网络，但我不理解偏差术语。我知道一个神经元与另一个神经元的每个链接都有一个权重，但是偏差与其连接的神经元之间的链接也有一个权重吗？或者我可以认为权重始终为 1 并且永远不会改变吗？

谢谢

Answer 1

偏差项确实有权重，通常，您向隐藏层中的每个神经元以及输出层中的神经元(在压缩之前)添加偏差。

看看Artificial Neurons的基本结构，您会看到偏差被添加为 wk0 = bk。有关更彻底的示例，请参见例如this link ，包含公式以及多层神经网络的可视化。

有关权重选择的讨论，请参阅以下 stats.stackexchange 线程:

• https://stats.stackexchange.com/questions/47590/what-are-good-initial-weights-in-a-neural-network