python - 我如何解释测试数据上的性能下降？

Question

我在这里问这个问题，尽管我犹豫是否将其发布到 CrossValidated(或 DataScience)StackExchange 上。我有一个包含 60 个标记对象(用于训练)和 150 个未标记对象(用于测试)的数据集。该问题的目的是预测 150 个对象的标签(这曾经作为家庭作业问题给出)。对于每个对象，我计算了 258 个特征。将每个对象视为样本，我有 X_train : (60,258)、y_train : (60,) (用于训练的对象的标签)和 X_test : (150,258)。由于给出了作业问题的解决方案，我还获得了 150 个对象的 true 标签，在 y_test : (150,) 中。

为了预测 150 个对象的标签，我选择使用 LogisticRegression(Scikit-learn 实现)。数据标准化后，分类器在 (X_train, y_train) 上进行训练，并用于对 150 个对象进行预测。将这些预测与 y_test 进行比较，以评估模型的性能。为了重现性，我复制了我使用过的代码。

from sklearn import metrics
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_score, crosss_val_predict

# Fit classifier
LogReg = LogisticRegression(C=1, class_weight='balanced')
scaler = StandardScaler()
clf = make_pipeline(StandardScaler(), LogReg)
LogReg.fit(X_train, y_train)

# Performance on training data
CV_score = cross_val_score(clf, X_train, y_train, cv=10, scoring='roc_auc')
print(CV_score)

# Performance on test data
probas = LogReg.predict_proba(X_test)[:, 1]
AUC = metrics.roc_auc_score(y_test, probas)
print(AUC)

矩阵X_train、y_train、X_test和y_test保存在位于this link的.mat文件中。我的问题如下:

使用这种方法，我在训练数据上获得了良好的性能(CV_score = 0.8)，但在测试数据上的性能却差得多:LogReg 中 C=1 时 AUC = 0.54，C=0.01 时 AUC = 0.40。如果朴素分类器的得分 AUC = 0.5 ，我怎样才能获得 AUC<0.5 ？这是因为我的训练样本数量较少吗？我注意到，如果我更改以下代码，测试数据的性能会提高:

y_pred = cross_val_predict(clf, X_test, y_test, cv=5) 
AUC = metrics.roc_auc_score(y_test, y_pred)
print(AUC)

事实上，C=1 时 AUC=0.87，C=0.01 时 AUC=0.9。为什么使用交叉验证预测 AUC 分数会好得多？是否因为交叉验证允许对不包含降低 AUC 的对象/样本的测试数据子集进行预测？

Answer 1

看起来您遇到了过度拟合问题，即使用训练数据训练的分类器与训练数据过度拟合。泛化能力较差。这就是为什么测试数据集上的性能不好的原因。

cross_val_predict 实际上是使用部分测试数据来训练分类器，然后对其余数据进行预测。所以性能要好得多。

总体而言，您的训练数据集和测试数据集之间似乎存在很大差异。因此，训练精度最高的分类器在您的测试集上效果不佳。

与您的问题没有直接关系的另一点:由于训练样本的数量远小于特征维度，因此在输入分类器之前执行降维可能会有所帮助。