python - 与随机森林相比，SVM 性能较差

Question

我正在使用 python 的 scikit-learn 库来解决分类问题。我使用了 RandomForestClassifier 和 SVM(SVC 类)。然而，虽然 rf 达到了大约 66% 的精度和 68% 的召回率，但 SVM 分别只能达到 45%。

我对 rbf-SVM 的参数 C 和 gamma 进行了GridSearch，并且还考虑了提前缩放和归一化。不过我觉得rf和SVM的差距还是太大了。

要获得足够的 SVM 性能，我还应该考虑什么？

我认为至少应该可以获得相同的结果。(所有分数都是通过对相同的测试和训练集进行交叉验证获得的。)

Answer 1

正如 EdChum 在评论中所说，没有规则或保证任何模型始终表现最佳。

具有 RBF 核模型的 SVM 假设最优决策边界是平滑的并且旋转不变(一旦你固定了一个不是旋转不变的特定特征缩放)。

随机森林不做平滑假设(它是一个分段常量预测函数)并且支持轴对齐的决策边界。

RF 模型所做的假设可能更适合任务。

顺便说一句，感谢您让网格搜索 C 和 gamma 并在询问 stackoverflow 之前检查特征归一化的影响 :)

编辑以获得更多见解，绘制 learning curves 可能会很有趣对于 2 个模型。可能是 SVM 模型正则化和内核带宽无法足够好地处理过度拟合，而 RF 的集成特性最适合此数据集大小。如果您有更多数据，差距可能会缩小。学习曲线图是检查您的模型如何从更多样本中获益的好方法。