python - 解释 sklearn 集成方法中的 feature_importances_

Question

预测后，feature_importances_(特别是 GradientBoostingClassifier 但可能存在于其他方法中)保存特征重要性。根据文档，越高，该功能越重要。

你知道返回的数字是什么意思吗？

我得到的值范围为 0.02 到 10^-6 或 0。

如果一个特征的重要性为 0.02，那么它的重要性为所有特征的 2%，但这与预测准确性或预测相关性有何关系？我可以解释这个数字并了解删除此类功能将如何影响预测吗？

Answer 1

Gilles Louppe，sklearn 集成和树模块的主要作者，对问题 here 写了一篇很好的回答。 .

有不同的方法可以量化决策树中的节点如何帮助将传入数据集划分为具有输出类的 block ，这些 block 的输出类累积起来比分割之前更具预测性。其中一项措施是 gini importance ，这是节点处数据集分割提供的输出类杂质减少的度量。该度量通过使用该特征实际分割数据集的行数进行加权，并在集成中的所有决策树上求平均值，从而确定 sklearn 中的 feature_importance_。