python - scikit-learn决策树重要特征顺序和最大深度选择关系

Question

为什么特征重要性的顺序会根据决策树分类器中的最大深度选择而变化？

我使用了合成数据，但我没有共享代码，因为它不必要而且很长。我只是想知道当我改变最大深度时，为什么重要特征的顺序会改变背后的逻辑。

dec_tree_clf = tree.DecisionTreeClassifier(max_depth=4, random_state=23, criterion="entropy")   
dec_tree_clf.fit(X_data, y_data)

<小时/>

features    importance  
    z   0.267464  
    n   0.124694  
    y   0.094134  
    c   0.090750  
    i   0.084806

dec_tree_clf = tree.DecisionTreeClassifier(max_depth=3, random_state=23, criterion="entropy")   
dec_tree_clf.fit(X_data, y_data)

features    importance  
    z   0.350545  
    n   0.163426  
    c   0.118939    
    i   0.111149  
    b   0.106650  

Answer 1

来自here您可以看到基尼重要性“计算一个特征用于分割节点的次数，并按其分割的样本数进行加权”。

如果您的某个功能在大树中 split 很多，那么它自然会在短树中 split 较少，因此可能会改 rebase 尼重要性(又名功能重要性 (It is the same) )。此外，与 深度=4 的树相比，深度=3 的树中的分割可能会有所不同，这也会改 rebase 尼重要性。