machine-learning - SVM - 我可以标准化 W 向量吗？

Question

在SVM中，归一化W向量有问题，例如:
for each i W_i = W_i / norm(W)
我很困惑。乍一看似乎是结果sign(<W, x>)会一样的。但如果是这样，在损失函数norm(W)^2 + C*Sum(hinge_loss)我们可以通过 do W = W / (large number) 来最小化 W .
那么，我哪里错了？

Answer 1

我建议您阅读我的最小5 ideas of SVMs或更好

[Bur98] C. J. Burges, “A tutorial on support vector machines for pattern recognition”, Data mining and knowledge discovery, vol. 2, no. 2, pp. 121–167, 1998.

回答你的问题:SVM 定义一个超平面来分隔数据。超平面由法线向量 w 和偏置 b 定义:

如果仅更改 w，这将给出另一个超平面。然而，SVM 做了更多的技巧(参见我的 5 个想法)，并且权重向量实际上被归一化为与两个类之间的间隔之间的关系。