machine-learning - 在什么情况下可以使用 bagging 来代替 boosting？

Question

我是数据科学的新手，到目前为止，我了解到装袋只会减少高方差，但提升会减少方差和偏差，从而提高训练和测试用例的准确性。

我了解两者的功能。似乎在准确性提升方面总是比装袋表现得更好。如果我错了，请纠正我。

是否有任何参数可以使 bagging 或基于 bagging 的算法比 boosting 更好 - 无论是在内存、速度、复杂数据处理还是任何其他参数方面。

Answer 1

bagging 有两个特性可以使其比 boosting 更有吸引力:

1. 它是可并行的 - 由于 bagging 的 embarrassingly parallel 性质，您可以将训练过程加快 4-8 倍，具体取决于您的 CPU 核心。
2. Bagging 对噪声 ( paper ) 的鲁棒性相对更强。现实生活中的数据很少像我们在学习数据科学时玩的玩具数据集那么干净。 Boosting 容易过度拟合噪声，而 Bagging 处理噪声的能力相对较好。