machine-learning - 特征归一化

Question

在统计中，我们几乎不进行特征归一化。我们在需要时将协变量居中，但不进行标准化。在机器学习中，特别是深度学习特征归一化至关重要。为什么它在某些应用程序中很重要，但在其他应用程序中并不重要。

Answer 1

对于机器学习方法来说，缩放很重要，因为它会影响目标函数的计算。

例如，许多算法使用欧几里得距离进行分类，如果你有一个特征的值比其他特征大得多，那么它将主导距离，因此你得到的预测将仅受这个唯一特征的影响。

缩放还有助于梯度下降(许多算法中使用的方法来最小化误差函数)更快地收敛。 SVM 使用归一化值还可以更快地训练。

总而言之，使所有值处于同一比例有助于计算。我的猜测是，为什么它对机器学习如此重要，而对统计却没那么必要，因为机器学习算法通常具有迭代多次的循环。在每次迭代中，“超出范围”的值影响越来越大，主导模型。另一方面，统计方法没有这些循环，因此缩放对其影响不大。