R线性回归中的RandomForest尾随mtry

Question

我使用 R 中的 randomForest 包(R 版本 2.13.1，randomForest 版本 4.6-2)进行回归，并注意到我的结果存在显着偏差:预测误差取决于响应变量的值。高值低于预测，低值高于预测。起初我怀疑这是我的数据的结果，但下面的简单示例表明这是随机森林算法所固有的:

n = 50; 
x1 = seq(1,n) 
x2 = matrix(1, n, 1)
predictors = data.frame(x1=x1, x2=x2)
response = x2 + x1
rf = randomForest(x=predictors, y=response)
plot(x1, response)
lines(x1, predict(rf, predictors), col="red")

毫无疑问，树方法在线性方面有其局限性，但即使是最简单的回归树，例如R 中的 tree() 没有表现出这种偏差。我无法想象社区会不知道这一点，但没有发现任何提及，它通常是如何纠正的？感谢您的任何评论

编辑:这个问题的例子有缺陷，请参阅堆栈交换中的“随机森林回归 R - 响应分布相关偏差”以获得改进的处理 https://stats.stackexchange.com/questions/28732/randomforest-for-regression-in-r-response-distribution-dependent-bias

Answer 1

您发现的不是随机森林中的固有偏差，而只是未能正确调整模型的调整参数。

使用您的示例数据:

rf = randomForest(x=predictors, y=response,mtry = 2,nodesize = 1)
plot(x1, response)
lines(x1, predict(rf, predictors), col="red")

当然，对于您的真实数据，改进不太可能如此明显，而且我敢打赌您会从 nodesize 中获得更多的里程数。比 mtry ( mtry 在这里完成了大部分工作)。

常规树没有表现出这种“偏差”的原因是因为它们默认搜索所有变量以获得最佳分割。