machine-learning - 使用 RBF 核 SVM 时，c 或 gamma 的高值是否会出现问题？

Question

我正在使用 WEKA/LibSVM 来训练术语提取系统的分类器。我的数据不是线性可分的，因此我使用 RBF 内核而不是线性内核。
我关注了guide from Hsu et al.并迭代 c 和 gamma 的几个值。最适合对已知术语进行分类的参数(测试和训练 Material 当然不同)相当高，c=2^10 和 gamma=2^3。
到目前为止，高参数似乎工作正常，但我想知道它们是否会进一步导致任何问题，特别是在过度拟合方面。我计划通过提取新术语来进行另一次评估，但这些成本很高，因为我需要人类法官。
即使两次评估结果都是积极的，我的参数是否仍然有问题？我是否需要其他内核类型？

非常感谢!

Answer 1

一般来说，您必须执行交叉验证来回答参数是否正确或者是否会导致过度拟合。

从“直觉”的角度来看 - 这似乎是高度过度拟合的模型。高 Gamma 值意味着你的高斯非常窄(在每个点周围压缩)，与高 C 值相结合将导致记住大部分训练集。如果您查看支持向量的数量，如果它占整个数据的 50%，我不会感到惊讶。其他可能的解释是您没有扩展数据。大多数机器学习方法，尤其是 SVM，都需要对数据进行正确预处理。这特别意味着您应该规范化(标准化)输入数据，以便它或多或少包含在单位范围内。