machine-learning - 使用多项式核相当于添加特征吗？

Question

第 352 页，詹姆斯等人的“统计学习简介”。解释使用多项式核的效果如下:

It essentially amounts to fitting a support vector classifier in a higher-dimensional space involving polynomials of degree d, rather than in the original feature space.

然而，它接着指出，当使用非线性内核时，预测是使用:

现在，该方程中的参数数量为 1 + |S|，其中 |S|是支持向量的数量。如果我要明确地使用其他特征，那么每个特征都会有一个单独的权重，这可能远远超过 1 + |S|参数。因此，使用内核的表达能力似乎不如使用显式特征的表达能力。它是否正确？

Answer 1

如果特征数量 (|F|) 大于 |S|，您将适合更多参数，从这个意义上说，您是对的。使用 |S| 拟合 SVM <|F|通常比 F 上的线性拟合更准确，因为您正在对 F 执行非线性拟合。想想左图中的示例

您无法对给定特征(x 和 y 轴)进行线性组合来完美分离黑白标签，但是您可以对 F 进行一些非线性变换(右图)。您可以尝试将特征转换添加为附加特征(例如 [f_1, f_2, f_1*f_1, f_1*f_2, f_2*f_2]，其中 f_1, f_2 是你的原始特征)，或者你也可以使用 SVM。在 SVM 中，您不会对某些转换后的特征进行线性拟合，而是通过所选内核对每个数据点与支持向量的关系进行线性拟合。

第二个考虑因素是，添加与标签无关的附加特征会给您的拟合带来噪音，并且可能具有非零权重，因为它们会拾取数据中的某些随机模式。因此，拟合更多参数并不总是对模型有帮助。