scikit-learn cross_validation 过拟合或欠拟合

Question

我正在使用 scikit-learn cross_validation( http://scikit-learn.org/stable/modules/cross_validation.html ) 并获得例如 0.82 平均分数 (r2_scorer)。我怎么知道我使用 scikit-learn 函数时是否过拟合或欠拟合？

Answer 1

不幸的是，我确认没有内置工具可以在 CV 设置中比较训练和测试分数。 cross_val_score 工具仅报告测试分数。

您可以像 Ando 的回答中那样使用 train_test_split 函数设置您自己的循环，但您也可以使用任何其他 CV 方案。

import numpy as np
from sklearn.cross_validation import KFold
from sklearn.metrics import SCORERS

scorer = SCORERS['r2']
cv = KFold(5)
train_scores, test_scores = [], []
for train, test in cv:
    regressor.fit(X[train], y[train])
    train_scores.append(scorer(regressor, X[train], y[train]))
    test_scores.append(scorer(regressor, X[test], y[test]))

mean_train_score = np.mean(train_scores)
mean_test_score = np.mean(test_scores)

如果您使用交叉验证计算平均训练和测试分数，那么您可以确定您是否:

• 欠拟合:训练分数与完美分数相去甚远(r2 为 1.0)
• 过度拟合:训练和测试分数彼此不接近(平均测试分数明显低于平均训练分数)。

注意:如果您的模型不合适并且您的数据太嘈杂，您可能会同时严重欠拟合和过度拟合。