r - 为什么在这个最小的例子中 gbm() 给出的结果与 h2o.gbm() 不同？

Question

修改梯度提升，我注意到 R 的 gbm 包在一个最小的示例中产生与 h2o 不同的结果。为什么？

<小时/>

数据

library(gbm)
library(h2o)

h2o.init()

train <- data.frame(
  X1 = factor(c("A", "A", "A", "B", "B")),
  X2 = factor(c("A", "A", "B", "B", "B")),
  Y = c(0, 1, 3, 4, 7)
)
  X1 X2 Y
1  A  A 0
2  A  A 1
3  A  B 3
4  B  B 4
5  B  B 7

GBM

# (gbm, 1 round, mae)
model.gbm <- gbm(
  Y ~ X1 + X2, data = train, distribution="laplace", n.tree = 1, shrinkage = 1, n.minobsinnode=1, bag.fraction=1, 
  interaction.depth = 1, verbose=TRUE
)
train$Pred.mae.gbm1 <- predict(model.gbm, newdata=train, n.trees=model.gbm$n.trees)

水

# (h2o, 1 round, mae)
model.h2o <- h2o.gbm(
  x=c("X1", "X2"), y="Y", training_frame=as.h2o(train), distribution="laplace", ntrees=1, max_depth=1, 
  learn_rate = 1, min_rows=1
)
train$Pred.mae.h2o1 <- as.data.frame(h2o.predict(model.h2o, as.h2o(train)))$predict

结果

train
  X1 X2 Y Pred.mae.gbm1 Pred.mae.h2o1
1  A  A 0           1.0           0.5
2  A  A 1           1.0           0.5
3  A  B 3           1.0           4.0
4  B  B 4           5.5           4.0
5  B  B 7           5.5           4.0

Answer 1

它们是完全独立的实现，我怀疑它们是否已经根据您使用它的方式进行了调整或设计(即单个树， min_rows 设置为 1)。在这种情况下，看起来 R 的 gbm 已使用其单个树来正确学习“B”输入，而 h2o.gbm已集中在“A”输入上。

当您开始使用真实数据和真实设置时，可能仍然存在差异。有很多参数你没有触及(至少有h2o.gbm()，这是我熟悉的一个)。还有一个随机元素:尝试 seed 的一百个值h2o.gbm() 和一个常量 set.seed()在 R 之前 gbm ，并且您可能会在至少其中一个上得到相同的结果。