xgboost - 梯度提升过程 (xgboost) 中如何使用参数 "weight"(DMatrix)？

Question

在 xgboost 中可以设置参数 weight对于 DMatrix .这显然是一个权重列表，其中每个值都是相应样本的权重。
我找不到有关这些权重如何在梯度提升过程中实际使用的任何信息。他们是否与 eta 相关？ ?

例如，如果我设置 weight所有样本和 eta 为 0.3为 1，这是否与设置 eta 相同？到 0.3 和 weight到 1？

Answer 1

xgboost允许在构建 DMatrix 期间进行例如加权，正如你所指出的。该权重直接与实例相关联，并在整个训练过程中随其移动。因此它包含在梯度和粗麻布的计算中，并直接影响 xgboost 的分割点和训练模型。

见 here和 here

Instance Weight File

XGBoost supports providing each instance an weight to differentiate the importance of instances. For example, if we provide an instance weight file for the "train.txt" file in the example as below:

train.txt.weight

1

0.5

0.5

1

0.5

It means that XGBoost will emphasize more on the first and fourth instance， that is to say positive instances while training. The configuration is similar to configuring the group information. If the instance file name is "xxx", XGBoost will check whether there is a file named "xxx.weight" in the same directory and if there is, will use the weights while training models.

它与 非常不同 eta eta简单告诉 xgboost最后一棵树训练到整体中的混合量。衡量集成在每次迭代中的贪心程度。

For example, if I would set weight to 0.3 for all samples and eta to 1, would this be the same as setting eta to 0.3 and weight to 1?

一个常数 weight对于所有实例，默认值为 1，因此对于所有实例将其更改为常数 0.3 仍然是相等的权重，因此这不会对事情产生太大影响。但是，设置 eta从 0.3 增加到 1，将使训练更具侵略性。