python - 思考特征重要性的不同方式

Question

弗里德曼的 “Greedy Function Approximation” in the Annals of Statistics, 2001 ，输入变量的相对重要性在 8.1 节中描述。方程 44(来自 Breiman、Friedman、Olshen 和 Stone，1983)表明，树中特征的相对重要性是该特征上所有节点 split 的平方误差的总(即总和)改进(未归一化或成比例)，方程 45通过对所有树求和的平均值(同样，不是比例的平均值)来计算特征对 GBM 的相对重要性。

这个总和可以在代码 here 中找到。

我非常确定，很少使用但使用时很重要的功能在此方法中排名不会很高。当前的定义类似于总效用，但我想我想要平均值。这样就解决了使用次数的问题。例如，如果有一个二进制特征，在一百万行中只有 1 个非零，但当它是时，它会对预测产生巨大影响。将上面代码行中的总和更改为平均值将突出显示这些功能。

这是已经完成的事情了吗？我担心的效果是否已经平衡，因为节点上的特征重要性是由该节点上的样本数量加权的？有没有更好的方法来处理稀疏性和特征重要性？

以这种方式考虑特征重要性的目的是确保不会排除一般情况下不重要但在少数罕见异常情况下至关重要的特征。在进行功能选择时，在查看聚合指标时很容易证明放弃这些功能是合理的。

Answer 1

如上所述here通过树定义的特征重要性并不是一个很好的指标。如果您有足够的计算时间，那么最好使用排列特征重要性。

ELI5 有 implementation这个的。为了进行比较，您可以运行以下代码来检查训练后的模型 clf。

from eli5.sklearn import PermutationImportance
iterations = 5

#http://scikit-learn.org/stable/modules/model_evaluation.html#common-cases-predefined-values
eval_metric = 'r2'
#eval_metric = 'neg_mean_absolute_error' 
#eval_metric = 'neg_mean_squared_error'
#eval_metric = 'explained_variance'


perm_train = PermutationImportance(clf,scoring = eval_metric, n_iter=iterations).fit(X_train, y_train)
feature_importance_train = perm_train.feature_importances_
feature_importance_train_error = perm_train.feature_importances_std_/np.sqrt(iterations)

perm_test = PermutationImportance(clf,scoring = eval_metric, n_iter=iterations).fit(X_test, y_test)
feature_importance_test = perm_test.feature_importances_
feature_importance_test_error = perm_test.feature_importances_std_/np.sqrt(iterations)

# make model importances relative to max importance
feature_importance_model = clf.feature_importances_
feature_importance_model = feature_importance_train.max() * (feature_importance_model / feature_importance_model.max())

sorted_idx = np.argsort(feature_importance_model)
pos = np.arange(sorted_idx.shape[0]) + .5

featfig = plt.figure(figsize=(6, 15))
featfig.suptitle('Feature Importance')
featax = featfig.add_subplot(1, 1, 1)

featax.errorbar(x=feature_importance_train[sorted_idx], y=pos, xerr = feature_importance_train_error[sorted_idx], linestyle='none', marker='.', label = 'Train')
featax.errorbar(x=feature_importance_test[sorted_idx], y=pos, xerr = feature_importance_test_error[sorted_idx],linestyle='none', marker='.', label = 'Test')
featax.errorbar(x=feature_importance_model[sorted_idx], y=pos, linestyle='none', marker='.', label = 'Model')

featax.set_yticks(pos)
featax.set_yticklabels(np.array(features)[sorted_idx], fontsize=8)
featax.set_xlabel(eval_metric + ' change')
featlgd = featax.legend(loc=0)  

既然您可以选择评估指标，那么您就可以选择对异常值更加敏感或不太敏感的指标。