statistics - SVM 和标准中的参数 C 以找到最佳参数

Question

SVM 中的代价参数 C 是什么意思？我的意思是，如果 C 很大，是否意味着“我不能容忍错误的分类”？

在实验中寻找最佳参数时，如何确定范围和步长？

顺便说一句，决定哪个参数更好的标准是什么？来自交叉验证的错误数或我们从 SVM 获得的支持向量数？

Answer 1

什么是 C？

SVM 训练解决的优化问题有两个术语:

1. 有利于“更简单”权重的正则化项
2. 确保权重正确分类训练数据点的损失项。

C 只是这些对术语的重要性之间的平衡。如果 C 高，你会很看重 (2)，如果 C 很低，你会很看重 (1)。

如果我只想要准确的结果，为什么不将 C 设置得非常高？

术语 (1) 防止过度拟合(非常擅长对训练数据进行分类，但非常不擅长对看不见的测试数据进行分类)

好吧，我只是想要准确的结果，那我为什么不把 C 设置得非常低呢？

第 (2) 项确保训练优化关注训练数据，您不只是想要“简单”(在 L2 意义上)权重，您需要能够正确分类训练数据的简单权重。

总结:

训练 SVM 是两项的平衡。 C是损失项相对于正则化项的相对重要性。