machine-learning - 为什么 SVM 中的支持向量的 alpha(拉格朗日乘数)大于零？

Question

我理解由拉格朗日对偶等组成的整体 SVM 算法，但我无法理解为什么支持向量的拉格朗日乘数特别大于零。

谢谢。

Answer 1

这可能是一个迟到的答案，但我将我的理解放在这里供其他访问者使用。

拉格朗日乘子，通常用α表示，是所有训练点的权重作为支持向量的向量。

假设有 m 个训练样本。那么α是一个大小为m的向量。现在关注 α 的任意第 i 个元素:α_i。很明显，α_i 捕获第 i 个训练示例的权重作为支持向量。 α_i 值越高意味着第 i 个训练样本作为支持向量越重要；例如，如果要做出预测，那么第 i 个训练示例对于做出决策将更为重要。

现在来谈谈OP的担忧:

I am not able to understand why particularly the Lagrangian multiplier is greater than zero for support vectors.

这只是一个构造。当你说 α_i=0 时，只是第 i 个训练样本的支持向量权重为零。您也可以说第 i 个示例不是支持向量。

旁注:KKT 的条件之一是互补松弛度:对于所有 i，α_ig_i(w)=0。对于支持向量，它必须位于边缘上，这意味着 g_i(w)=0。现在 α_i 可以为零，也可以不为零；无论如何，它满足互补松弛条件。对于 α_i=0，您可以根据上面给出的讨论选择是否将这些点称为支持向量。但对于非支持向量，α_i 必须为零才能满足互补松弛度，因为 g_i(w) 不为零。