python-2.7 - Scikit-learn 参数 oob_score、oob_score_、oob_prediction_

Question

我很难找出 的作用oob_score_ 表示 scikit-learn 中的随机森林回归器。在文档上它说:

oob_score_:漂浮
使用袋外估计获得的训练数据集的分数。

起初我认为它会返回袋外实例集上每个实例的分数。但这是由属性给出的:

oob_prediction_:形状数组 = [n_samples]
用训练集上的袋外估计计算的预测。

它返回一个包含每个实例的预测的数组。然后分析文档上的其他参数，我意识到该方法
score(X, y, sample_weight=None) 返回决定系数 R²。

考虑到调用属性 oob_score_ 返回单个浮点值，它代表什么？如果可能的话，我也想知道它是如何计算的。

文档链接是 RandomForestRegressor .

Answer 1

它准确地返回文档中所说的内容

oob_score_ : float Score of the training dataset obtained using an out-of-bag estimate.

分数在哪里

score(X, y, sample_weight=None) returns the Coefficient of determination R².

和袋外估计是由于装袋程序而未用于训练的样本。

看看 source , 第 727-740 行

    predictions /= n_predictions
    self.oob_prediction_ = predictions

    if self.n_outputs_ == 1:
        self.oob_prediction_ = \
            self.oob_prediction_.reshape((n_samples, ))

    self.oob_score_ = 0.0

    for k in range(self.n_outputs_):
        self.oob_score_ += r2_score(y[:, k],
                                    predictions[:, k])

    self.oob_score_ /= self.n_outputs_

换句话说，它只是 oob_prediction_ 上的 R2 分数。