machine-learning - 决策树的深度取决于什么？

Question

下面是 DecisionTreeClassifier 的参数:max_深度

http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

max_depth : int or None, optional (default=None)

    The maximum depth of the tree. If None, then nodes are expanded until all leaves are pure or until all leaves contain less than min_samples_split samples.

我一直认为决策树的深度应该等于或小于给定数据集的特征(属性)数量。如果我们在该参数的上述输入之前找到纯类怎么办？它是否停止 split 或进一步 split 直到提到的输入？

split 时是否可以在决策树的两个不同级别中使用相同的属性？

Answer 1

如果决策树的特征数量非常多，那么它可能会变得非常大。要回答你的问题，是的，如果找到纯类变量，它就会停止。这是决策树容易过度拟合的另一个原因。

当您使用随机森林时，您希望使用 max_depth 参数，它不会选择任何特定树的所有特征，因此预计所有树都不会生长到最大可能的深度，这反过来又需要修剪。决策树是弱学习器，在随机森林中它们与 max_深度一起参与投票。有关这些 RF 和 DT 关系的更多详细信息可以在互联网上轻松搜索。发表了一系列文章。

因此，通常当您拥有大量特征时，您会希望使用 max_depth 。此外，在实际实现中，您希望使用 RandomForest 而不是单独使用 DecisionTree。