artificial-intelligence - 为什么随机权重启动比在 ANN 中使用 0 作为权重更好？

Question

在经过训练的神经网络中，权重分布将接近于零。所以对我来说将所有权重初始化为零是有意义的。然而，有些方法(例如 -1 到 1 的随机分配和 Nguyen-Widrow)的性能优于零启动。为什么这些随机方法比仅使用零更好？

Answer 1

激活和学习:

除了 cr0ss 所说的之外，在正常的 MLP 中(例如)，第 n+1 层的激活是第 n 层的输出以及第 n 层和 n + 1 层之间的权重的点积......所以基本上您可以得到层n中神经元i的激活a的方程:

其中w是神经元j(父层n-1)到当前神经元i(当前层n)之间的连接权重，o是神经元j(父层)的输出，b是当前神经元的偏差i 在当前层。

很容易看出，用零初始化权重实际上会“停用”权重，因为父层输出的权重将等于零，因此(在第一个学习步骤中)您的输入数据将不被认识到，数据将被完全忽略。因此，学习将仅获得由第一个时期的偏差提供的数据。

这显然会使网络的学习更具挑战性，并扩大大量学习所需的时期。

应该针对您的问题优化初始化:

使用 -1 <= w <= 1 的随机浮点分布来初始化权重是最典型的初始化，因为总体而言(如果您不分析您正在处理的问题/领域)，这保证了一些权重从一开始就相对较好。此外，通过固定初始化，其他神经元相互适应的速度更快，而随机初始化可确保更好的学习。

然而，初始化的 -1 <= w <= 1 并不是对每个问题都是最佳的。例如:生物神经网络没有负输出，因此当您尝试模仿生物网络时，权重应该为正。此外，例如在图像处理中，大多数神经元要么具有相当高的输出，要么几乎不发送任何信号。考虑到这一点，将权重初始化在 0.2 <= w <= 1 之间通常是一个好主意，有时甚至 0.5 <= w <= 2 也能显示出良好的结果(例如在深色图像中)。

因此，正确学习问题所需的历元不仅取决于层、层的连接性、传递函数和学习规则等，还取决于权重的初始化。您应该尝试多种配置。在大多数情况下，您可以找出合适的解决方案(例如用于处理暗图像的更高的正权重)。