python - 改进流 Python 分类器并组合功能

Question

我正在尝试创建一个分类器来对网站进行分类。我是第一次这样做，所以这对我来说都是全新的。目前我正在尝试在网页的几个部分(例如标题、文本、标题)上做一些词袋。它看起来像这样:

from sklearn.feature_extraction.text import CountVectorizer
countvect_text = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_title = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_headings = CountVectorizer(encoding="cp1252", stop_words="english")

X_tr_text_counts = countvect_text.fit_transform(tr_data['text'])
X_tr_title_counts = countvect_title.fit_transform(tr_data['title'])
X_tr_headings_counts = countvect_headings.fit_transform(tr_data['headings'])

from sklearn.feature_extraction.text import TfidfTransformer

transformer_text = TfidfTransformer(use_idf=True)
transformer_title = TfidfTransformer(use_idf=True)
transformer_headings = TfidfTransformer(use_idf=True)

X_tr_text_tfidf = transformer_text.fit_transform(X_tr_text_counts)
X_tr_title_tfidf = transformer_title.fit_transform(X_tr_title_counts)
X_tr_headings_tfidf = transformer_headings.fit_transform(X_tr_headings_counts)

from sklearn.naive_bayes import MultinomialNB
text_nb = MultinomialNB().fit(X_tr_text_tfidf, tr_data['class'])
title_nb = MultinomialNB().fit(X_tr_title_tfidf, tr_data['class'])
headings_nb = MultinomialNB().fit(X_tr_headings_tfidf, tr_data['class'])

X_te_text_counts = countvect_text.transform(te_data['text'])
X_te_title_counts = countvect_title.transform(te_data['title'])
X_te_headings_counts = countvect_headings.transform(te_data['headings'])

X_te_text_tfidf = transformer_text.transform(X_te_text_counts)
X_te_title_tfidf = transformer_title.transform(X_te_title_counts)
X_te_headings_tfidf = transformer_headings.transform(X_te_headings_counts)

accuracy_text = text_nb.score(X_te_text_tfidf, te_data['class'])
accuracy_title = title_nb.score(X_te_title_tfidf, te_data['class'])
accuracy_headings = headings_nb.score(X_te_headings_tfidf, te_data['class'])

这工作正常，我得到了预期的准确性。然而，正如您可能已经猜到的那样，这看起来很困惑并且充满了重复。那么我的问题是，有没有办法把它写得更简洁？

此外，我不确定如何将这三个特征组合成一个多项式分类器。我尝试将 tfidf 值列表传递给 MultinomialNB().fit()，但显然这是不允许的。

可选地，为特征添加权重也很好，这样在最终的分类器中，一些向量比其他向量具有更高的重要性。

我猜我需要 pipeline 但我完全不确定在这种情况下我应该如何使用它。

Answer 1

首先，可以使用 TfidfVectorizer 删除 CountVectorizer 和 TfidfTransformer (本质上是两者的结合)。

其次，TfidfVectorizer 和 MultinomialNB 可以组合在 Pipeline 中.管道按顺序应用转换列表和最终估计器。当在 Pipeline 上调用 fit() 时，它会一个接一个地拟合所有变换并变换数据，然后使用最终估计器拟合变换后的数据。当 score() 或 predict() 被调用时，它只调用所有转换器上的 transform() 和 score() 或 predict() 最后一个。

所以代码看起来像这样:

from sklearn.pipeline import Pipeline
pipeline = Pipeline([('vectorizer', TfidfVectorizer(encoding="cp1252",
                                                    stop_words="english",
                                                    use_idf=True)), 
                     ('nb', MultinomialNB())])

accuracy={}
for item in ['text', 'title', 'headings']:

    # No need to save the return of fit(), it returns self
    pipeline.fit(tr_data[item], tr_data['class'])

    # Apply transforms, and score with the final estimator
    accuracy[item] = pipeline.score(te_data[item], te_data['class'])

编辑:编辑以包括所有功能的组合以获得单一精度:

为了结合结果，我们可以采用多种方法。下面是一个易于理解的(但又有点困惑的一面):

# Using scipy to concatenate, because tfidfvectorizer returns sparse matrices
from scipy.sparse import hstack

def get_tfidf(tr_data, te_data, columns):

    train = None
    test = None

    tfidfVectorizer = TfidfVectorizer(encoding="cp1252",
                                      stop_words="english",
                                      use_idf=True)
    for item in columns:
        temp_train = tfidfVectorizer.fit_transform(tr_data[item])
        train = hstack((train, temp_train)) if train is not None else temp_train

        temp_test = tfidfVectorizer.transform(te_data[item])
        test = hstack((test , temp_test)) if test is not None else temp_test

    return train, test

train_tfidf, test_tfidf = get_tfidf(tr_data, te_data, ['text', 'title', 'headings']) 

nb = MultinomialNB()
nb.fit(train_tfidf, tr_data['class'])
nb.score(test_tfidf, te_data['class'])

第二种方法(也是更可取的方法)是将所有这些都包含在管道中。但是由于选择了不同的列('text'、'title'、'headings')并连接了结果，它并不是那么简单。我们需要为它们使用 FeatureUnion。特别是以下示例:

• http://scikit-learn.org/stable/auto_examples/hetero_feature_union.html#sphx-glr-auto-examples-hetero-feature-union-py

第三，如果你开放使用其他库，那么DataFrameMapper来自 sklearn-pandas 可以简化前面示例中使用的 FeatureUnion 的使用。

如果您确实想走第二条或第三条路，如有困难，请随时联系。

注意:我没有检查过代码，但它应该可以工作(如果有的话，少一些语法错误)。将尽快在我的电脑上检查。