个人中心
文章发布
退出
作者热门文章
- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
29
4
我正在使用 xgboost 进行排名
param = {'objective':'rank:pairwise', 'booster':'gbtree'}
据我所知，梯度提升是通过计算学习决策树的加权和来工作的。我如何访问分配给每个学习助推器的权重？我想尝试在训练后对权重进行后处理以加快预测步骤，但我不知道如何获得各个权重。使用 dump_model() 时，可以在创建的文件中看到不同的决策树，但其中没有存储权重。在 API 中我还没有找到合适的函数。或者我可以使用收缩参数 eta 手动计算权重吗？
最佳答案
每棵树都被赋予了相同的权重eta，总体预测是每棵树预测的总和，如您所说。
您可能希望较早的树比后面的树获得更多的权重，但由于在每棵树之后更新响应的方式，这不是必需的。这是一个玩具示例:
假设我们有 5 个观察值，响应分别为 10、20、30、40、50。构建第一棵树并给出 12、18、27、39、54 的预测。
现在，如果 eta = 1，则传递给下一棵树的响应变量将为 -2、2、3、1、-4(即预测与真实响应之间的差异) .然后，下一棵树将尝试学习第一棵树未捕获的“噪音”。如果 nrounds = 2，则两棵树的预测之和将给出模型的最终预测。
如果 eta = 0.1，则所有树的预测都会按 eta 缩小，因此第一棵树将改为“预测”1.2、1.8、2.7、3.9 , 5.4.传递给下一棵树的响应变量将具有值 8.8、18.2、27.3、36.1、44.6(缩放预测与真实响应之间的差异)然后第二轮使用这些响应值构建另一棵树 - 并再次预测由 eta 缩放。所以树 2 预测 7、18、25、40、40，一旦缩放，就会变成 0.7、1.8、2.5、4.0、4.0。和以前一样，第三棵树将传递这些值与前一棵树的响应变量之间的差异(因此 8.1、16.4、24.8、32.1、40.6)。同样，所有树的预测总和将给出最终预测。
显然，当 eta = 0.1 且 base_score 为 0 时，您需要至少 10 轮才能获得接近合理的预测。通常，您至少需要 1/eta 回合，通常更多。
使用小 eta 的基本原理是模型受益于朝着预测迈出小步，而不是让树 1 完成大部分工作。这有点像结晶——慢慢冷却，你会得到更大、更好的晶体。缺点是您需要增加 nrounds，从而增加算法的运行时间。
关于python - 如何访问 xgboost 中单个决策树的权重？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32950607/
29
4
0
是否可以计算 xgboost 模型的内部节点预测？ R 包 gbm 提供了对每棵树的内部节点的预测。 然而，xgboost 输出仅显示对模型最后一片叶子的预测。 xgboost 输出: 请注意，质量列
我想知道哪个损失函数使用 XGBoost 进行多类分类。我找到了 in this question二元情况下逻辑分类的损失函数。 我认为对于多类情况，它可能与 GBM 中的相同(对于 K 类)whic
XGBoost 使用加法训练的方法，在该方法中对先前模型的残差进行建模。 虽然这是顺序的，那么它如何并行计算呢？ 最佳答案 Xgboost 不会像您提到的那样并行运行多棵树，您需要在每棵树之后进行预测
我正在看下面的图片。 有人可以解释一下它们是如何计算的吗？我以为 N 是 -1，是 +1，但后来我不明白这个小女孩怎么有 0.1。但这对于树 2 也不起作用。 最佳答案 我同意@user1808924
我已经使用 Amazon Sagemaker 构建了一个 XGBoost 模型，但是我找不到任何可以帮助我解释模型并验证它是否学习了正确的依赖关系的东西。 通常，我们可以通过 python API (
这是我的代码: xgb <- xgboost(data = as.matrix(df_all_combined), label = as.matrix(target_tr
在 xgboost 中可以设置参数 weight对于 DMatrix .这显然是一个权重列表，其中每个值都是相应样本的权重。 我找不到有关这些权重如何在梯度提升过程中实际使用的任何信息。他们是否与 e
不工作: import warnings warnings.filterwarnings('ignore') 我得到的警告: [14:24:45] WARNING: C:/Jenkins/worksp
我有一个用 Python 训练的 XGBoost 二元分类器模型。 我想在不同的脚本环境 (MQL4) 中使用纯数学运算而不使用 XGBoost 库 (.predict) 从该模型生成新输入数据的输出
我有一个仅包含分类特征和分类标签的数据模型。 因此，当我在 XGBoost 中手动构建该模型时，我基本上会将特征转换为二进制列(使用 LabelEncoder 和 OneHotEncoder)，并使用
我使用 XGBoost 的 python 实现。目标之一是rank:pairwise并且最小化成对损失( Documentation )。但是，它没有说明输出的范围。我看到 -10 到 10 之间的数
我遇到了一个奇怪的问题: 我通过 hyperopt 定义了我的 XGB 超参数 'max_depth' hp.choice('max_depth',range(2,20)) 但我得到了 'max_de
我是 R 编程语言新手，我需要运行“xgboost”进行一些实验。问题是我需要交叉验证模型并获得准确性，我发现两种方法可以给我不同的结果: 使用“插入符号”: library(mlbench) lib
选择 auc、error 或 logloss 作为 XGBoost 的 eval_metric 对其性能有何影响？假设数据不平衡。它如何影响准确度、召回率和精确度？ 最佳答案 在不同的评估矩阵 之间进
我是 Python 中 XGBoost 的新手，所以如果这里的答案很明显，我深表歉意，但我正在尝试使用 panda 数据框并在 Python 中获取 XGBoost 来给我使用 Scikit-Lear
我知道您可以为不平衡的数据集设置 scale_pos_weight。然而，如何处理不平衡数据集中的多分类问题。我经历过https://datascience.stackexchange.com/que
我正在使用 xgboost 的功能 pred_contribs 以便为我的模型的每个样本获得某种可解释性(shapley 值)。 booster.predict(test, pred_contribs
在 xgboost 0.81 中 cox ph 生存模型的新实现中，如何指定事件的开始和结束时间？ 谢谢 例如，R 等效函数是: cph_mod = coxph(Surv(Start, Stop, S
我正在 R 中建模 claim 频率(泊松分布)。我正在使用 gbm和 xgboost包，但似乎xgboost没有将曝光考虑在内的偏移参数？ 在 gbm ，人们会按如下方式考虑暴露: gbm.fit(
xgboost 包允许构建一个随机森林(实际上，它选择列的随机子集来为整棵树的 split 选择一个变量，而不是为了点头，因为它是算法的经典版本，但它可以忍受)。但是对于回归，似乎只使用了森林中的一棵
我是一名优秀的程序员,十分优秀！