machine-learning - C4.5 决策树算法没有提高准确性

Question

我使用 10 倍交叉验证在 Weka 中运行了 C4.5 剪枝算法。我注意到未修剪的树比修剪的树具有更高的测试准确性。我不明白为什么修剪树并没有提高测试精度？

Answer 1

修剪减少了决策树的大小，这(通常)降低了训练准确性，但提高了测试(看不见的)数据的准确性。修剪有助于减轻过度拟合，在这种情况下，您可以在训练数据上获得完美的准确性，但模型(即决策树)只要看到看不见的数据就会失败。

因此，修剪应该可以提高测试准确性。从你的问题来看，很难说为什么剪枝没有提高测试准确性。

但是，您可以检查您的训练准确性。只需检查剪枝是否会降低训练准确性即可。如果不是，那么问题就出在其他地方。也许你需要考虑特征的数量或数据集的大小!