python - 如果我将 FeatureUnion 的 Transformer_weights 设置为 0 会发生什么？

Question

如果我将 FeatureUnion 的 Transformer_weights 设置为 0 会发生什么？我想知道我是否可以使用这种方法来选择退出 GridSearchCV 中的一组功能。通过这种方式，我可以利用 GridSearchCV 的交叉验证来测试某个功能是否可以改善预测。

此外，任何关于不同模型如何对此 Transformer_weights 变化使用react的想法。我认为具有平滑功能的 MultinationalNB 可以用来测试一组特征是否有用的想法。

(或者关于如何测试特征重要性的任何其他想法？我的另一个想法是进行特征选择，看看各种特征选择方法是否会丢弃“已测试的 Feather ”。但另一方面， GridSearchCV 的最佳估计器对保留数据集的预测性能是一个“终极”测试，因此我仍然会使用此测试而不是特征选择。)

以下是使用 FeatureUnion 的示例管道。

pipeline = Pipeline([
    # Use FeatureUnion to combine the features
    ('union', FeatureUnion(
        transformer_list=[
            # Pipeline for pulling features from the post's subject line
            ('subject', Pipeline([
                ('selector', ItemSelector(key='subject')),
                ('tfidf', TfidfVectorizer(min_df=50)),
            ])),

            # Pipeline for standard bag-of-words model for body
            ('body_bow', Pipeline([
                ('selector', ItemSelector(key='body')),
                ('tfidf', TfidfVectorizer()),
                ('best', TruncatedSVD(n_components=50)),
            ])),
        ],

        # weight components in FeatureUnion
        transformer_weights={
            'body_bow': 1.0,
            'subject': 0.0,
        },
    )),

    ('svc', SVC(kernel='linear')),
])

来自 Matt Terry 的完整示例可以在 here 找到。 :

Answer 1

它只是一些变压器输出的常数乘数。也就是说，您可以假设默认情况下每个转换器的该常量为 1，并且您的 FeatureUnion 将输出:

numpy.hstack((body_bow_output_matrix*1.0, subject_output_matrix*0.0))

阅读此内容 feature selection还有。