python - 在 Scikit-Learn 中保存的模型上测试未知数据时，如何获得预测准确性？

Question

我有一个经过二元分类训练的模型，我现在想用它来预测未知的类元素。

     from sklearn.externals import joblib
     model = joblib.load('../model/randomForestModel.pkl')
     test_data = df_test.values # df_test is a dataframe with my test data
     output = model.predict(test_data[:,1:]) # this outputs the prediction either 1 or 0

我知道如何在给定训练数据集的情况下获取confusion_matrix、accuracy_score、classification_report，但在这种情况下我没有训练数据。我想从 weka 得到类似的东西:

       inst#     actual  predicted error prediction
           1        1:?        1:0       0.757 

在 Scikit-learn 中可以吗？如果是这样，我该怎么做？

Answer 1

是的，这完全有可能。

1) 当尝试评估您训练的模型时，您应该使用测试集。您拥有的数据的子集，您未使用这些数据进行训练，以评估模型预测新值的能力。通过这个测试集，您可以获得真实值，因此您可以比较预测结果。您可以简单地使用train_test_split包或交叉验证。

2)Scikit-learn提供不同的metrics为了评估模型。您应该再次在测试集而不是训练集上使用此指标。这可能会导致虚假的好结果。

我不认为您有任何理由不知道训练集。但您也可以使用模型的 _score 方法，您可以将其参数化为期望(F1 分数、召回率、精度)。

在weka中，我不明白什么是错误预测。你能解释一下吗？