machine-learning - 为什么要在 SVM 中进行特征缩放？

Question

我发现 SVM(支持向量机)问题中的扩展确实可以提高其性能。我读过这个解释:

The main advantage of scaling is to avoid attributes in greater numeric ranges dominating those in smaller numeric ranges.

不幸的是，这对我没有帮助。有人可以提供更好的解释吗？

Answer 1

特征缩放是应用于优化问题(不仅仅是 SVM)的通用技巧。解决SVM优化问题的下线算法是梯度下降。 Andrew Ng 在他的 coursera 视频中做了很好的解释 here .

我将在这里说明核心思想(我借用了安德鲁的幻灯片)。假设您只有两个参数，并且其中一个参数可以取相对较大范围的值。然后是成本函数的轮廓看起来像又高又瘦的椭圆形(见下面的蓝色椭圆形)。您的渐变(渐变路径以红色绘制)可能需要很长时间才能找到最佳解决方案。

相反，如果您缩放了特征，则成本函数的轮廓可能看起来像圆圈；那么梯度可以采取更直的路径并更快地达到最佳点。