python - 使用 python scikit-learn 对 RFE 进行装袋(引导)

Question

我想使用 python scikit-learn 执行装袋。我想结合 RFE()，递归特征选择算法。步骤如下。

1. 制作 30 个允许冗余选择(装袋)的子集
2. 对每个数据集执行 RFE
3. 获取每个分类的输出
4. 从每个输出中找到前 5 个特征

我尝试使用如下所示的 BaggingClassifier 方法，但它花费了很多时间而且似乎不起作用。仅使用 RFE 没有问题(rfe.fit())。

cf1 = LinearSVC()
rfe = RFE(estimator=cf1)
bagging = BaggingClassifier(rfe, n_estimators=30)
bagging.fit(trainx, trainy)

此外，第 4 步可能很难找到 top 特征，因为 Bagging 分类器不提供像 RFE() 中的 ranking_ 这样的属性。还有其他一些好的方法可以实现这 4 个步骤吗？

Answer 1

如果没有 bagging，可以通过以下行访问 RFE 给出的排名:

rfe.ranking_

这个顺序可以用来对特征名称进行排序，然后取前五个特征。参见 the documentation for sklearn RFE有关此参数的示例。使用 bagging，您可能希望访问 30 个估算器中的每一个。基于documentation for sklearn BaggingClassifier ，您可以通过以下方式访问它们:

bagging.estimators_

所以:对于bagging.estimators_中的每一个bagging，获取排名，根据这个排名对特征进行排序，取前五个元素!希望这会有所帮助。