python - xgboost、extratreeclassifier 和 randomforrestclasiffier 之间有什么区别？

Question

我对所有这些方法都很陌生，我正在尝试找到一个简单的答案，或者也许有人可以指导我在网络上的某个地方找到高级解释。我的谷歌搜索仅返回了kaggle示例代码。

extratree 和 randomforrest 本质上是一样的吗？ xgboost 在为任何特定树选择特征时使用提升，即对特征进行采样。那么另外两种算法是如何选择特征的呢？

谢谢!

Answer 1

额外的树(ET)又名。 极度随机树与随机森林(RF)非常相似。这两种方法都是装袋方法，聚合一些完全生长的决策树。 RF 只会尝试分割，例如三分之一的功能，但评估这些功能中任何可能的断点并选择最好的。然而，ET 只会评估随机的几个断点并选择其中最好的一个。 ET 可以将样本引导到每棵树或使用所有样本。 RF必须使用bootstrap才能正常工作。

xgboost 是梯度提升的实现，可以与决策树(典型的小型树)一起使用。每棵树都经过训练来纠正先前训练树的残差。梯度提升可能更难训练，但可以实现比 RF 更低的模型偏差。对于噪声数据，装袋可能是最有前途的。对于低噪声和复杂的数据结构，提升可能是最有希望的。