python-3.x - XGBClassifier() Python 3.x 中的子样本、colsample_bytree、colsample_bylevel

Question

我花了很多时间试图找出这些“子样本”、“colsample_by_tree”和“colsample_bylevel”实际上在 XGBClassifier() 中做了什么，但我无法确切地找出它们做了什么。有人可以简要解释一下他们是做什么的吗？

谢谢!

Answer 1

“子样本”、“colsample_by_tree”和“colsample_bylevel”的想法来自随机森林。
在其中，您构建了一个由许多树组成的集合，然后在进行预测时将它们组合在一起。

“随机”部分通过对每棵树的训练样本进行随机抽样(引导)，并仅考虑属性的随机子集来构建每棵树(实际上是每棵树的节点)。

换句话说，对于随机森林中的每棵树，您:

从数据集中选择一个随机样本来训练这棵树；

对于这棵树的每个节点，使用特征的随机子集。
这避免了过度拟合并使树去相关。

与随机森林类似，XGB 是一组弱模型，将它们放在一起可提供稳健而准确的结果。
弱模型可以是决策树，可以像随机森林一样随机化。
在这种情况下:

“子样本”是将用于训练每棵树的训练样本(随机选择)的分数。

“colsample_by_tree”是将用于训练每棵树的特征的分数(随机选择)。

“colsample_bylevel”是将在每个节点中用于训练每棵树的特征的分数(随机选择)。