classification - 修剪决策树

Question

当训练集中的示例太少时，如何使用 ID3 修剪决策树构建。

我不能把它分成训练集、验证集和测试集，所以这是不可能的。

是否有任何可以使用的统计方法或类似方法？

Answer 1

是的，当您的数据量较少时，可以使用交叉验证来训练和修剪您的数据集。这个想法很简单。你将你的数据分成 N 组，并用其中的 N-1 训练你的树。您用作修剪测试集的最后一组。然后你从 N 组中选择另一组省略，然后做同样的事情。重复此操作，直到您遗漏了所有集合。这意味着你将 build N 棵树。您将使用这 N 棵树来计算树的最佳大小，然后使用该计算对整组数据进行训练以修剪该树。它比我在这里有效描述的要复杂，但这里有一篇关于如何使交叉验证适应 ID3 的文章。

Decision Tree Cross Validation

关于什么是交叉验证的适当分割已经进行了大量研究，并且发现 N=10 在给定的额外处理时间下给出最佳结果。交叉验证会大大增加您的计算时间(N 倍)，但是当您的数据量较小时，它可以克服样本数量少的问题。由于您没有大量数据，这意味着使用交叉验证在计算上并没有那么糟糕。