decision-tree - XGBoost 修剪步骤在做什么？-6ren

decision-tree - XGBoost 修剪步骤在做什么？

转载作者：行者123 更新时间：2023-12-03 18:34:31

27

4

当我使用 XGBoost 拟合模型时，它通常会显示一系列消息，例如“updater_prune.cc:74: tree pruning end, 1 个 root, 6 extra nodes, 0 pruned nodes, max_depth=5”。我想知道 XGBoost 是如何进行树修剪的？我找不到关于他们修剪过程的描述 in their paper .

注意:我确实了解决策树修剪过程，例如前修剪和后修剪。这里我很好奇XGBoost的实际剪枝过程。通常修剪需要验证数据，但即使我没有给它任何验证数据，XGBoost 也会执行修剪。

最佳答案

XGBoost把所有的树都长到 max_depth第一的。

这允许快速训练，因为您不必评估每个节点的所有正则化参数。

后每棵树都长到 max_depth ，你从步行树底 (递归一直到顶部)并确定是否拆分和 child 有效 基于您选择的超参数。如果拆分或节点无效，则将它们从树中删除。

在 model dump的 XGBoost模型你可以观察到实际深度会小于max_depth如果发生了修剪，则在训练期间。

修剪不需要验证数据。它只是问一个简单的问题，即 split 或结果子节点是否是有效，基于 hyper-parameters you have set在训练中。

more info on pruning the original XGB slides from 2014

关于decision-tree - XGBoost 修剪步骤在做什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52672116/

27

4

0

文章推荐： sqlite - 在 sqlite 中表示多对多关系

文章推荐： sql - SQLite DISTINCT结果不一致

xgboost - xgboost 模型的内部节点预测
是否可以计算 xgboost 模型的内部节点预测？ R 包 gbm 提供了对每棵树的内部节点的预测。然而，xgboost 输出仅显示对模型最后一片叶子的预测。 xgboost 输出: 请注意，质量列
xgboost - XGBoost 中多类分类的损失函数是什么？
我想知道哪个损失函数使用 XGBoost 进行多类分类。我找到了 in this question二元情况下逻辑分类的损失函数。我认为对于多类情况，它可能与 GBM 中的相同(对于 K 类)whic
xgboost - XGBoost 如何进行并行计算？
XGBoost 使用加法训练的方法，在该方法中对先前模型的残差进行建模。虽然这是顺序的，那么它如何并行计算呢？最佳答案 Xgboost 不会像您提到的那样并行运行多棵树，您需要在每棵树之后进行预测
xgboost - 在这个 XGBoost 树中如何计算休假分数？
我正在看下面的图片。有人可以解释一下它们是如何计算的吗？我以为 N 是 -1，是 +1，但后来我不明白这个小女孩怎么有 0.1。但这对于树 2 也不起作用。最佳答案我同意@user1808924
xgboost - Sagemaker 中 XGBoost 的功能重要性
我已经使用 Amazon Sagemaker 构建了一个 XGBoost 模型，但是我找不到任何可以帮助我解释模型并验证它是否学习了正确的依赖关系的东西。通常，我们可以通过 python API (
r - 使用 xgboost 函数时出现 XGBoost 错误
这是我的代码: xgb <- xgboost(data = as.matrix(df_all_combined), label = as.matrix(target_tr
xgboost - 梯度提升过程 (xgboost) 中如何使用参数 "weight"(DMatrix)？
在 xgboost 中可以设置参数 weight对于 DMatrix .这显然是一个权重列表，其中每个值都是相应样本的权重。我找不到有关这些权重如何在梯度提升过程中实际使用的任何信息。他们是否与 e
xgboost - 如何在 jupyter 中隐藏来自 xgboost 库的警告？
不工作: import warnings warnings.filterwarnings('ignore') 我得到的警告: [14:24:45] WARNING: C:/Jenkins/worksp
python - 如何在没有 XGBoost 库的情况下生成 XGBoost 输出？
我有一个用 Python 训练的 XGBoost 二元分类器模型。我想在不同的脚本环境 (MQL4) 中使用纯数学运算而不使用 XGBoost 库 (.predict) 从该模型生成新输入数据的输出
xgboost - 将 Azure AutoML 与 XGBoost 分类器一起用于分类数据时出现奇怪的算法选择
我有一个仅包含分类特征和分类标签的数据模型。因此，当我在 XGBoost 中手动构建该模型时，我基本上会将特征转换为二进制列(使用 LabelEncoder 和 OneHotEncoder)，并使用
xgboost - 使用 'rank:pairwise' 的 XGboost 的输出是什么？
我使用 XGBoost 的 python 实现。目标之一是rank:pairwise并且最小化成对损失( Documentation )。但是，它没有说明输出的范围。我看到 -10 到 10 之间的数
xgboost - hyperopt 结果超出了我的 hp.choice 限制，为什么？ (XGBoost)
我遇到了一个奇怪的问题: 我通过 hyperopt 定义了我的 XGB 超参数 'max_depth' hp.choice('max_depth',range(2,20)) 但我得到了 'max_de
r - “xgboost” 官方包与 R 中 "caret"包的 xgboost 的不同结果
我是 R 编程语言新手，我需要运行“xgboost”进行一些实验。问题是我需要交叉验证模型并获得准确性，我发现两种方法可以给我不同的结果: 使用“插入符号”: library(mlbench) lib
xgboost - 对于 XGBoost 二进制分类问题，选择 auc/error/logloss 作为 eval_metric 有什么影响？
选择 auc、error 或 logloss 作为 XGBoost 的 eval_metric 对其性能有何影响？假设数据不平衡。它如何影响准确度、召回率和精确度？最佳答案在不同的评估矩阵之间进
python - 如何使用 XGBoost 获取 Predictions 和使用 Scikit-Learn Wrapper 的 XGBoost 进行匹配？
我是 Python 中 XGBoost 的新手，所以如果这里的答案很明显，我深表歉意，但我正在尝试使用 panda 数据框并在 Python 中获取 XGBoost 来给我使用 Scikit-Lear
xgboost - 如何在xgboost的多类分类中为不平衡数据设置权重？
我知道您可以为不平衡的数据集设置 scale_pos_weight。然而，如何处理不平衡数据集中的多分类问题。我经历过https://datascience.stackexchange.com/que
python - xgboost 预测对概率的贡献
我正在使用 xgboost 的功能 pred_contribs 以便为我的模型的每个样本获得某种可解释性(shapley 值)。 booster.predict(test, pred_contribs
Xgboost cox 生存时间输入
在 xgboost 0.81 中 cox ph 生存模型的新实现中，如何指定事件的开始和结束时间？谢谢例如，R 等效函数是: cph_mod = coxph(Surv(Start, Stop, S
r - xgboost，抵消曝光？
我正在 R 中建模 claim 频率(泊松分布)。我正在使用 gbm和 xgboost包，但似乎xgboost没有将曝光考虑在内的偏移参数？在 gbm ，人们会按如下方式考虑暴露: gbm.fit(
r - xgboost 包和随机森林回归
xgboost 包允许构建一个随机森林(实际上，它选择列的随机子集来为整棵树的 split 选择一个变量，而不是为了点头，因为它是算法的经典版本，但它可以忍受)。但是对于回归，似乎只使用了森林中的一棵

首页

博学

6Ren·AI

商城

decision-tree - XGBoost 修剪步骤在做什么？