xgboost - XGBoost 如何进行并行计算？

Question

XGBoost 使用加法训练的方法，在该方法中对先前模型的残差进行建模。

虽然这是顺序的，那么它如何并行计算呢？

Answer 1

Xgboost 不会像您提到的那样并行运行多棵树，您需要在每棵树之后进行预测以更新梯度。

相反，它在单个树中进行并行化，我使用 openMP 独立创建分支。

为了观察这一点，构建一个巨大的数据集并以 n_rounds=1 运行。你会看到你所有的核心都在一棵树上燃烧。这就是为什么它的速度如此之快——设计精良。