python - sklearn : What is the Benefit of Recursive Feature Elimination With Cross-Validation?

Question

当我看 Recursive feature elimination with cross-validation ，不知道sklearn.feature_selection.RFECV()有什么实际用途可能。

实际上，它只是为我提供了最佳功能数量，但并没有告诉我这些功能是什么。

与此相反，sklearn.feature_selection.RFE把 rfe.ranking_ 还给我

我不应该只使用 sklearn.feature_selection.RFE因此？

还是我忽略了什么？

Answer 1

这两个函数背后的核心思想是相同的，即递归消除比另一个更不重要的特征。不同之处在于这两者是如何实现这一目标的。

sklearn.feature_selection.RFE 只是训练一个为特征分配权重的估计器。它根据该估计器取出特征重要性并递归修剪它。

另一方面，带有交叉验证的递归特征消除，将交叉验证添加到组合中。特征重要性得分的计算仅基于验证数据完成。这可能是一个更消耗资源的过程，具体取决于数据的大小和使用的估算器。

正如@Jan K 所提到的，您可以使用 ranking_ 获得特征排名。属性

根据文档

support_ : 形状数组 [n_features]

The mask of selected features.

这将返回所选特征的 bool 掩码，例如

array([ True,  True,  True,  True,  True,
    False, False, False, False, False], dtype=bool)

排名_:形状数组 [n_features]

The feature ranking, such that ranking_[i] corresponds to the ranking position of the i-th feature. Selected (i.e., estimated best)features are assigned rank 1.

例如( from official documentation example )

selector.ranking_
#output : array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])

其中选择器是 RFECV() 对象

引用资料

Difference between RFE and SelectKfromModel

How does RFECV makes use of CV

Another answer on RFECV and GridSearch