tensorflow - NN 中数值输入的归一化

Question

我读了很多关于 CNN 中图像归一化的论文。但是我没有找到这个案例的答案。比方说，我第一层的输入是:[1, 4234, 90420394.43, 0]我必须规范化吗？因为，梯度下降应该能够自己识别哪些是重要的参数，以及如何用 W 的矩阵 no 来处理它？<​​/p>

最后一个问题，如果我真的必须对其进行归一化，我会得到一个值介于 0 和 1 之间的向量吗？信息不会丢失吗？(而且因为它似乎只是重新缩放，所以相对差异保持不变，所以，在这种情况下是怎么回事？)

Answer 1

答案并不特定于 CNN 中的图像，而是一般的神经网络。您认为梯度下降应该解决问题的直觉是正确的，系统应该学会自然地缩放，但是在相同范围内输入有助于保持梯度步长在相同范围内，这将有助于您的网络收敛更快(否则，网络可能无法收敛)。

此外，正则化等技术直接作用于权重值，因此可能会受到不平衡尺度的影响。

还有batch normalization ，常用于图像 CNN，与归一化输入值无关。