r - 插入符号 xgbLinear 和 xgbTree

Question

我在 Caret 上使用 GBM 的这两个衍生物。我在同一数据集上尝试了两种算法，它们返回不同的精度并在不同的时间执行。从名字上看，我可以认为第一个在某处使用线性函数，另一个使用树。无论如何，我不明白它在哪里使用线性而不是树。我知道 GBM 算法使用树作为预测器，第一种情况可以使用不同的结构(如训练)吗？在哪里可以找到有关此主题的一些文档？

谢谢

Answer 1

您可以在单独的 models 上找到更多详细信息在插入符号 github 页面上，模型的所有代码都位于其中。插入符号文档位于 here 。

但是您应该注意这两个模型之间使用的参数的差异:

• xgbLinear 使用:nrounds、lambda、alpha、eta
• xgbTree 使用:nrounds、max_depth、eta、gamma、colsample_bytree、最小 child 体重

这些选择会影响模型的结果，并会导致不同的预测。因而也有不同的准确度。 xgboost 中可用的其他选项将与 xgboost 的默认设置一起使用。

插入符号模型包含点点 (...) 选项。因此，如果您想使用xgbLinear训练gamma，您可以在train函数中指定它。但不在网格参数中。对于任何其他 xgboost 参数也是如此。

(非常糟糕)示例:

grid = expand.grid(nrounds = c(10,20), lambda= c(0.1), alpha = c(1), eta = c(0.1))
train(Species ~  ., data = iris, method = "xgbLinear", tuneGrid = grid, gamma = 0.5)