python - scikit RandomForestClassifier - 真实结果与预测分数不匹配

Question

我是机器学习新手，我正在尝试使用 scikit RandomForestClassifier 对文本进行分类。我遇到的问题是我的测试数据结果与 sklearn 分类报告不匹配。训练集大约有 25k 个样本，其中大约 25% 标记为 1，75% 标记为 0。我有一个额外的 1k 测试集，用于在训练后进行测试。

# 火车

    vectorizer = TfidfVectorizer(max_features=40, stop_words=stopwords.words('english'))
    X = vectorizer.fit_transform(documents).toarray()
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=0)

    classifier = RandomForestClassifier(
    n_jobs=-1, bootstrap=False, n_estimators=200, random_state=0)

    classifier.fit(X_train, y_train)
    y_pred = classifier.predict(X_test)

    print(confusion_matrix(y_test, y_pred))
    print(classification_report(y_test, y_pred))
    print(accuracy_score(y_test, y_pred))

               precision    recall  f1-score   support

       0       0.98      0.99      0.98      4231
       1       0.95      0.90      0.92       883

accuracy                           0.97      5114

# 测试

df = pandas.read_csv(input_file, header=None)
df.columns = ["data", "target"]

df, y = df.data, df.target

test_documents = []
for body in range(0, len(df)):
    document = str(df[body])
    test_documents.append(document)
X = vectorizer.fit_transform(test_documents).toarray()
prediction = pd.DataFrame(classifier.predict(X))

              precision    recall  f1-score   support

       0       0.89      0.87      0.88       856
       1       0.38      0.42      0.40       154

Answer 1

我本来希望 Mr_U4913 会添加这个，但我会添加。

尝试一下您的测试代码:

测试

df = pandas.read_csv(input_file, header=None)
df.columns = ["data", "target"]

df, y = df.data, df.target

test_documents = []
for body in range(0, len(df)):
    document = str(df[body])
    test_documents.append(document)
X = vectorizer.transform(test_documents).toarray()  #here is where change is!
prediction = pd.DataFrame(classifier.predict(X))

请注意更改...我们现在使用矢量化器的变换方法。我假设您可以将此测试代码放入与训练代码相同的文件中，以便您的矢量化器对象仍然存在。

您使用 Transform 而不 fit_transform 的原因是您已经使用适合特定词汇的矢量化器训练了模型，并且在测试过程中可能会出现新单词。使用现有的矢量化器将忽略这些新单词/组合，并将有助于保持 tdif 矢量协调。与使用 fit_transform 相反，它会重新创建(可能完全不同)矢量化器，该矢量化器将具有小/大差异。

编辑:您可能还希望尝试逻辑分类器...有时它会对此类数据给出不错的结果。