machine-learning - SVM的gamma和cost参数

Question

大家好，我在使用libSVM做预测的时候出现了一个奇怪的现象。

当我不设置SVM参数时，我将在测试集上获得99.9%的性能。然而，如果我设置参数“-c 10 -g 5”，我将在测试集上获得大约 33% 的精度。

顺便说一下，我使用的SVM工具包是LibSVM。

请问是不是数据集有问题。我也想不出哪个结果更有说服力。

Answer 1

您恰好遇到了一个问题，C 和 gamma 的默认值(分别为 1 和 1/num_features)可以很好地解决。

gamma=5 明显大于默认值。当默认值接近最佳值时，gamma=5 完全有可能产生非常差的结果。大 gamma 和大 C 的组合是过度拟合的完美秘诀(例如，高训练集性能和低测试集性能)。