scikit-learn - 多标签分类的特征选择(scikit-learn)

Question

我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时，我收到此警告:

用户警告:重复分数。结果可能取决于特征排序。可能存在重复特征，或者您对回归任务使用了分类分数。
warn("重复分数。结果可能取决于特征顺序。"

为什么会出现这种情况以及如何正确应用特征选择？

Answer 1

代码警告您可能需要执行任意平分，因为某些特征具有完全相同的分数。

也就是说，特征选择实际上不适用于开箱即用的多标签；您目前可以做的最好的事情是在管道中将特征选择和分类器结合在一起，然后将其提供给多标签元估计器。示例(未经测试):

clf = Pipeline([('chi2', SelectKBest(chi2, k=1000)),
                ('svm', LinearSVC())])
multi_clf = OneVsRestClassifier(clf)

(我认为，即使绑定(bind)的特征实际上不是第 k 个和第 (k+1) 个，我认为也会发出此警告。通常可以安全地忽略它。)