python - 在检查决策路径时从 sklearn 随机森林复制特征和标准

Question

在检查随机森林模型的决策树时，我得到了重复的特征和阈值 (CO2)。可视化树的代码如下:

estimator = model.estimators_[10]
from sklearn.tree import export_graphviz
# Export as dot file
export_graphviz(estimator, out_file='tree.dot', 
                feature_names = ['pdo', 'pna', 'lat', 'lon', 'ele', 'co2'],
                class_names = 'disWY',
                rounded = False, proportion = False, 
                precision = 3, filled = True)

# Convert to png using system command (requires Graphviz)
from subprocess import call
call(['dot', '-Tpng', 'tree.dot', '-o', 'tree.png', '-Gdpi=300'])

# Display in jupyter notebook
from IPython.display import Image
Image(filename = 'tree.png')

很明显，CO2 和 -0.69 被使用了两次。我不明白这怎么可能。有人有什么想法吗？

screen shot of decision tree

同一个特征是否应该有不同的阈值？

Answer 1

这可能是一个舍入错误。

这有点做作，但这是使用 RandomForestRegressor 重现它的最小方法

import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.tree import export_graphviz

X = np.array([[-0.6901, 4.123],
              [-0.6902, 5.456],
              [-0.6903, 6.789],
              [-0.6904, 7.012]])
y = np.array([0.0, 1.0, 1.0, 0.0])

reg = RandomForestRegressor(random_state=42).fit(X, y)

export_graphviz(reg.estimators_[6], out_file=f"tree6.dot", precision=3, filled=True)
# dot -Tpng tree6.dot -o tree6.png

如果我们在调用 export_graphviz() 时传递更高的 precision=8，我们将看到如下内容: