R随机森林不一致的预测

Question

我最近使用 R 中的 ranger 包构建了一个随机森林模型。但是，我注意到训练期间存储在 ranger 对象中的预测(可通过 model$predictions 访问)与运行预测时得到的预测不匹配使用创建的模型对同一数据集执行命令。以下代码在 mtcars 数据集上重现了该问题。我创建了一个二元变量只是为了将其转换为分类问题，尽管我也看到了回归树的类似结果。

library(datasets)
library(ranger)
mtcars <- mtcars
mtcars$mpg2 <- ifelse(mtcars$mpg > 19.2 , 1, 0)
mtcars <- mtcars[,-1]
mtcars$mpg2 <- as.factor(mtcars$mpg2)
set.seed(123)
mod <- ranger(mpg2 ~ ., mtcars, num.trees = 20, probability = T)
mod$predictions[1,] # Probability of 1 = 0.905
predict(mod, mtcars[1,])$predictions # Probability of 1 = 0.967

这个问题也存在于 randomForest 包中，我在其中观察到可以使用以下代码重现类似的问题。

library(randomForest)
set.seed(123)
mod <- randomForest(mpg2 ~ ., mtcars, ntree = 20)
mod$votes[1,]
predict(mod, mtcars[1,], type = "prob")

有人可以告诉我为什么会发生这种情况吗？我希望结果是一样的。我是否做错了什么，或者我对随机森林的某些固有属性的理解存在错误，从而导致了这种情况？

Answer 1

我认为您可能想更深入地了解随机森林的工作原理。我强烈推荐Introduction to Statistical Learning in R (ISLR)，它可以在线免费获得here .

也就是说，我认为这里的主要问题是，当 mod$votes 值和 predict() 值不完全相同时，您将它们视为相同的值。如果您查看 randomForest函数的文档， mod$votes或 mod$predicted值是out-of-bag(“OOB ") 对输入数据的预测。这与 predict() 函数生成的值不同，后者评估对 randomForest() 生成的模型的观察。通常，您希望在一组数据上训练模型，并在测试集上使用 predict() 函数。

最后，如果您想为 mod 对象获得相同的结果，您可能需要在每次创建随机森林时重新运行 set.seed() 函数。我认为有一种方法可以为整个 session 设置种子，但我不确定。这看起来是一个有用的帖子:Fixing set.seed for an entire session

旁注:在这里，您没有指定每棵树使用的变量数量，但在大多数情况下默认值就足够了(检查您用于默认值的每个随机森林函数的文档)。也许您在实际代码中这样做，但没有将其包含在您的示例中，但我认为值得一提。

希望这有帮助!

编辑:我尝试使用除第一次观察(马自达 RX4)之外的所有数据来训练随机森林，然后仅对该观察使用预测函数，我认为这更好地说明了我的观点。尝试运行这样的东西:

library(randomForest)
set.seed(123)
mod <- randomForest(mpg2 ~ ., mtcars[-1,], ntree = 200)
predict(mod, mtcars[1,], type = "prob")