python - 如何在 Scikit 中使用交叉验证进行多输出回归？

Question

首先是我的设置:X 是我的特征表。它有 150000 个特征和 96 个样本。所以 150 000 列和 96 行。

y 是我的目标表。它有 4 个标签，当然还有 96 个样本。所以 4x96(列 x 行)。

在拆分成训练数据和测试数据后，我正在使用 MLPRegressor。基于 Sci-kit 的文档，它是一个原生的多输出回归器。所以我可以用它来预测我的四个期望输出值和一个包含 150 000 个特征的新样本。我的代码:

mlp = MLPRegressor(hidden_layer_sizes=(2000, 2000), solver= 'lbfgs', max_iter=100)
mlp.fit(X_train,y_train)

然后我使用交叉验证。

cross_validation.cross_val_score(mlp, X, y, scoring='r2')

输出是一个包含 3 个条目的列表(参数 cv=3)。我真的不明白我的 4 个标签是如何由这 3 个值表示的。我期待这样的格式:标签 1:3 个条目，标签 2:3 个条目，与标签 3 和 4 相同。因此，对于测试和训练数据的不同拆分，我得到了所有标签的 R^2 值 3 次。

我错过了什么吗？我需要使用 Multioutputregressor 吗？ (See doc here)

和Here交叉验证的文档。

谢谢。

Answer 1

首先，如果您实际使用的是 cross_validation.cross_val_score()，则应将其替换为 model_selection.cross_val_score()。模块 cross_validation 已被弃用并从最新版本的 scikit 中删除。

现在来谈谈为什么您只为所有输出而不是单个条目获得单个分数，因为这就是 scorer 的默认值设置方式。

您使用了评分'r2'，即documented here .在那里，如果输入是多输出(如您的情况)，则可以通过使用

来更改结果

multioutput : Defines aggregating of multiple output scores. Array-like value defines weights used to average scores. Default is “uniform_average”.

‘raw_values’ : Returns a full set of scores in case of multioutput input.

‘uniform_average’ : Scores of all outputs are averaged with uniform weight.

‘variance_weighted’ : Scores of all outputs are averaged, weighted by the variances of each individual output.

您会看到默认值为 'uniform_average'，它只是对所有输出进行平均以获得单个值，这就是您所得到的。