python - 如何计算 GradientBoostingClassifier 的特征重要性

Question

我正在使用 scikit-learn 的梯度提升树分类器，GradientBoostingClassifier .它使特征重要性得分在 feature_importances_ 中可用。如何计算这些特征重要性？

我想了解 scikit-learn 使用的是什么算法，以帮助我了解如何解释这些数字。该算法未在文档中列出。

Answer 1

这已记录在案 elsewhere在 scikit-learn 文档中。具体来说，这是它的工作原理:

对于每棵树，我们将特征 F 的特征重要性计算为将遍历基于特征 F split 的节点的样本分数(参见 here)。然后，我们对所有树的这些数字进行平均(如 here 所述)。

没有准确描述 scikit-learn 如何估计将遍历在特征 F 上 split 的树节点的节点分数。

解释:分数将在 [0,1] 范围内。分数越高表示该特征越重要。这是一个形状为 (n_features,) 的数组，其值为正且总和为 1.0