python - scikit-learn 线性回归的意外交叉验证分数

Question

我正在尝试学习使用 scikit-learn 来完成一些基本的统计学习任务。我以为我已经成功创建了适合我的数据的 LinearRegression 模型:

X_train, X_test, y_train, y_test = cross_validation.train_test_split(
    X, y,
    test_size=0.2, random_state=0)

model = linear_model.LinearRegression()
model.fit(X_train, y_train)
print model.score(X_test, y_test)

产生:

0.797144744766

然后我想通过自动交叉验证进行多个类似的 4:1 拆分:

model = linear_model.LinearRegression()
scores = cross_validation.cross_val_score(model, X, y, cv=5)
print scores

我得到这样的输出:

[ 0.04614495 -0.26160081 -3.11299397 -0.7326256  -1.04164369]

为什么交叉验证分数与单个随机分割的分数相差如此之大？他们都应该使用 r2 评分，如果我将 scoring='r2' 参数传递给 cross_val_score，结果是相同的。

我已经为 cross_validation.train_test_split 的 random_state 参数尝试了很多不同的选项，它们都在 0.7 到 0.9 的范围内给出了相似的分数。

我正在使用 sklearn 版本 0.16.1

Answer 1

事实证明，我的数据是按不同类别的 block 排序的，默认情况下 cross_validation.cross_val_score 选择连续拆分而不是随机(随机)拆分。我能够通过指定交叉验证应该使用随机拆分来解决这个问题:

model = linear_model.LinearRegression()
shuffle = cross_validation.KFold(len(X), n_folds=5, shuffle=True, random_state=0)
scores = cross_validation.cross_val_score(model, X, y, cv=shuffle)
print scores

给出:

[ 0.79714474  0.86636341  0.79665689  0.8036737   0.6874571 ]

这符合我的预期。