python-3.x - 管道中的拟合与拟合变换

Question

本页https://www.kaggle.com/baghern/a-deep-dive-into-sklearn-pipelines

它调用 fit_transfrom 来转换数据，如下所示:

from sklearn.pipeline import FeatureUnion

feats = FeatureUnion([('text', text), 
                      ('length', length),
                      ('words', words),
                      ('words_not_stopword', words_not_stopword),
                      ('avg_word_length', avg_word_length),
                      ('commas', commas)])

feature_processing = Pipeline([('feats', feats)])
feature_processing.fit_transform(X_train)

虽然在特征处理训练过程中，它只使用fit然后predict

from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ('features',feats),
    ('classifier', RandomForestClassifier(random_state = 42)),
])

pipeline.fit(X_train, y_train)

preds = pipeline.predict(X_test)
np.mean(preds == y_test)

问题是，fit 是否在 X_train 上进行转换(正如 transform 所实现的那样，因为我们没有调用 fit_transform 这里)第二种情况？

Answer 1

sklearn-pipeline 有一些不错的功能。它以非常干净的方式执行多项任务。我们定义了我们的特征，它的转换和分类器列表，我们想要执行，所有这些都在一个函数中。

在第一步中

pipeline = Pipeline([
    ('features',feats),
    ('classifier', RandomForestClassifier(random_state = 42)),
])

你已经定义了特征的名称和它的转换函数(在feat中)，在第二步，你已经定义了分类器的名称和分类器classifier。

现在在调用 pipeline.fit 时，它首先拟合特征并对其进行变换，然后将分类器拟合到变换后的特征上。所以，它为我们做了一些步骤。更多你可以check-here