r - R 中是否有 GBM 的并行实现？

Question

我在 R 中使用 gbm 库，并且我想使用我所有的 CPU 来拟合模型。

gbm.fit(x, y,
        offset = NULL,
        misc = NULL,...

Answer 1

嗯，原则上不可能有GBM的并行实现，无论是在R中还是在任何其他实现中。原因很简单:Boosting 算法根据定义是顺序。

考虑以下内容，引用自 The Elements of Statistical Learning ，CH。 10(增强树和加法树)，第 337-339 页(重点是我的):

A weak classifier is one whose error rate is only slightly better than random guessing. The purpose of boosting is to sequentially apply the weak classification algorithm to repeatedly modified versions of the data, thereby producing a sequence of weak classifiers Gm(x), m = 1, 2, . . . , M. The predictions from all of them are then combined through a weighted majority vote to produce the final prediction. [...] Each successive classifier is thereby forced to concentrate on those training observations that are missed by previous ones in the sequence.

在图片中(同上，第 338 页):

事实上，这经常被认为是 GBM 相对于随机森林 (RF) 的一个关键缺点，随机森林 (RF) 中的树是独立的，因此可以并行安装(请参阅 bigrf R 包)。

因此，正如上面的评论者指出的那样，您能做的最好的事情就是使用多余的 CPU 核心来并行化交叉验证过程......