machine-learning - 将输入数据缩放到神经网络

Question

我们是否必须缩放神经网络的输入数据？它如何影响神经网络的最终解决方案？

我试图找到一些可靠的消息来源。 《统计学习的要素》(第 400 页)一书表示，这将有助于选择合理的初始随机权重。

无论我们使用的初始随机权重如何，最终权重不是确定性的吗？

谢谢。

Answer 1

首先，人工神经网络有很多种类型，我假设您正在谈论最简单的一种 - 具有反向传播的多层感知器。

其次，在您的问题中，您混淆了数据缩放(标准化)和权重初始化。

您需要随机初始化权重以避免学习时的对称性(如果所有权重最初相同，则它们的更新也将相同)。一般来说，具体值并不重要，但太大的值会导致收敛速度变慢。

您不需要要求标准化您的数据，但标准化可以使学习过程更快。请参阅this question更多细节。