neural-network - 为什么我们需要神经网络中的偏差？

Question

我们在神经网络中有权重和优化器。
为什么我们不能只输入 W * 然后应用激活，估计损失并将其最小化？
为什么我们需要做W * input + b？

感谢您的回答!

Answer 1

有两种方法可以思考为什么偏差在神经网络中有用。第一个是概念上的，第二个是数学上的。

神经网络的灵感来自生物神经元。基本思想是人类神经元接受一堆输入并将它们“添加”在一起。如果输入的总和大于某个阈值，则神经元将“触发”(产生一个输出到其他神经元)。这个阈值本质上与偏差相同。因此，通过这种方式，人工神经网络中的偏差有助于复制真实的人类神经元的行为。

另一种考虑偏差的方法是简单地考虑任何线性函数，y = mx + b。假设您正在使用 y 来逼近某个线性函数 z。如果 z 具有非零 z 截距，并且您在 y 的等式中没有偏差(即 y = mx)，则 y 永远无法完美拟合 z。同样，如果您网络中的神经元没有偏置项，那么您的网络可能更难逼近某些函数。

综上所述，您不需要神经网络中的偏差——事实上，最近的发展(如批量归一化)已经使卷积神经网络中的偏差不那么频繁了。