python - 解释 XGBoost 树的叶值以解决多类分类问题-6ren

python - 解释 XGBoost 树的叶值以解决多类分类问题

转载作者：行者123 更新时间：2023-12-05 03:51:49

我一直在使用 XGBoost Python 库来解决我的多类分类问题，目标是 multi:softmax。通常，我不确定如何解释当我使用 xgb.plot_tree() 时输出的几个决策树的叶子值，或者当我使用 将模型转储到 txt 文件时bst.dump_model().

我的问题有 6 个类，标记为 0-5，我已将我的模型设置为执行两次增强迭代(至少现在是这样，因为我试图更多地了解 XGBoost 的工作原理)。从在线搜索(特别是 https://github.com/dmlc/xgboost/issues/1746 )中，我注意到 booster[x] 处的树代表 int(x/(num_classes)) + 1 'th 迭代中的树，显示 x%(num_classes) 类的决策树。例如，我的 txt 文件中的 booster[7] 显示了第 2 次 boosting 迭代期间的决策树，以及第 1 类。此外，我发现在每棵树中使用 softmax 函数，softmax所有叶值的值加起来为 1。

除此之外，我通常对所有这些树的叶值如何决定 XGBoost 选择哪个类感到困惑。我的问题是

通过提升迭代的树如何影响输出？例如，booster[0] 和 booster[6](代表我的类 0 的第一次和第二次增强迭代)如何影响最终输出或最终结果0 类的概率？
从所有树的叶值到 XGBoost 选择哪个类的决定背后的数学是什么？

如果通过演示回答有帮助，我在下面提供了转储的 txt 文件，以及示例输入和输出，均使用 multi:softprob 和 multi:softmax 作为目标。

转储.raw.txt:

booster[0]:
0:[f0<0.5] yes=1,no=2,missing=1
    1:[f8<19.5299988] yes=3,no=4,missing=3
        3:leaf=0.244897947
        4:leaf=-0.042857144
    2:leaf=-0.0595400333
booster[1]:
0:[f2<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0594852231
    2:[f8<0.389999986] yes=3,no=4,missing=3
        3:leaf=0.272727251
        4:[f9<0.607749999] yes=5,no=6,missing=5
            5:[f9<0.290250003] yes=7,no=8,missing=7
                7:[f8<6.75] yes=11,no=12,missing=11
                    11:leaf=0.0157894716
                    12:leaf=-0.0348837189
                8:leaf=0.11249999
            6:[f8<12.6100006] yes=9,no=10,missing=9
                9:leaf=-0.0483870953
                10:[f8<15.1700001] yes=13,no=14,missing=13
                    13:leaf=0.0157894716
                    14:leaf=-0.0348837189
booster[2]:
0:[f3<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0595029891
    2:[f8<0.439999998] yes=3,no=4,missing=3
        3:[f5<0.5] yes=5,no=6,missing=5
            5:leaf=-0.042857144
            6:leaf=0.226027399
        4:[f9<-0.606250048] yes=7,no=8,missing=7
            7:leaf=0.0157894716
            8:leaf=-0.0545454584
booster[3]:
0:[f3<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0595029891
    2:[f5<0.5] yes=3,no=4,missing=3
        3:[f8<19.6599998] yes=5,no=6,missing=5
            5:leaf=0.260869563
            6:leaf=-0.0452054814
        4:leaf=-0.0524475537
booster[4]:
0:[f9<-0.477999985] yes=1,no=2,missing=1
    1:[f9<-0.622750044] yes=3,no=4,missing=3
        3:leaf=-0.0557312258
        4:[f10<0] yes=7,no=8,missing=7
            7:[f5<0.5] yes=11,no=12,missing=11
                11:leaf=0.0069767423
                12:leaf=0.0631578937
            8:leaf=-0.0483870953
    2:[f8<0.400000006] yes=5,no=6,missing=5
        5:leaf=-0.0563139915
        6:[f10<0] yes=9,no=10,missing=9
            9:[f8<19.5200005] yes=13,no=14,missing=13
                13:[f2<0.5] yes=17,no=18,missing=17
                    17:[f9<1.14275002] yes=23,no=24,missing=23
                        23:[f8<15.2000008] yes=27,no=28,missing=27
                            27:leaf=-0.0483870953
                            28:leaf=0.0157894716
                        24:leaf=0.0631578937
                    18:leaf=0.226829246
                14:leaf=0.293398529
            10:[f9<0.492500007] yes=15,no=16,missing=15
                15:[f8<17.2700005] yes=19,no=20,missing=19
                    19:leaf=0.152054787
                    20:leaf=-0.0570247956
                16:[f8<13.4099998] yes=21,no=22,missing=21
                    21:[f2<0.5] yes=25,no=26,missing=25
                        25:leaf=-0.0348837189
                        26:leaf=0.132558137
                    22:leaf=0.275871307
booster[5]:
0:[f9<-0.181999996] yes=1,no=2,missing=1
    1:[f10<0] yes=3,no=4,missing=3
        3:[f9<-0.49150002] yes=7,no=8,missing=7
            7:[f4<0.5] yes=13,no=14,missing=13
                13:leaf=0.0157894716
                14:leaf=0.226829246
            8:leaf=-0.0529411733
        4:[f8<12.9099998] yes=9,no=10,missing=9
            9:leaf=-0.0396226421
            10:leaf=0.285522789
    2:[f9<0.490750015] yes=5,no=6,missing=5
        5:[f10<0] yes=11,no=12,missing=11
            11:leaf=-0.0577405877
            12:[f8<17.2800007] yes=15,no=16,missing=15
                15:leaf=-0.0521739125
                16:[f2<0.5] yes=17,no=18,missing=17
                    17:leaf=0.274038434
                    18:leaf=0.0631578937
        6:leaf=-0.0589545034
booster[6]:
0:[f0<0.5] yes=1,no=2,missing=1
    1:[f8<19.5299988] yes=3,no=4,missing=3
        3:leaf=0.200149015
        4:leaf=-0.0419149213
    2:leaf=-0.0587796457
booster[7]:
0:[f2<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0587093942
    2:[f8<0.389999986] yes=3,no=4,missing=3
        3:leaf=0.212223038
        4:[f9<0.607749999] yes=5,no=6,missing=5
            5:[f9<0.290250003] yes=7,no=8,missing=7
                7:[f8<6.75] yes=11,no=12,missing=11
                    11:leaf=0.0150387408
                    12:leaf=-0.0345491134
                8:leaf=0.102861121
            6:[f10<0] yes=9,no=10,missing=9
                9:leaf=-0.047783535
                10:[f9<0.93175] yes=13,no=14,missing=13
                    13:leaf=0.0160113405
                    14:leaf=-0.0342122875
booster[8]:
0:[f3<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0587323084
    2:[f8<0.439999998] yes=3,no=4,missing=3
        3:[f5<0.5] yes=5,no=6,missing=5
            5:leaf=-0.0419248194
            6:leaf=0.187167063
        4:[f9<-0.606250048] yes=7,no=8,missing=7
            7:leaf=0.0154749081
            8:leaf=-0.0537380874
booster[9]:
0:[f3<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0587323084
    2:[f5<0.5] yes=3,no=4,missing=3
        3:[f8<19.6599998] yes=5,no=6,missing=5
            5:leaf=0.207475975
            6:leaf=-0.0443004556
        4:leaf=-0.0517353415
booster[10]:
0:[f9<-0.477999985] yes=1,no=2,missing=1
    1:[f9<-0.622750044] yes=3,no=4,missing=3
        3:leaf=-0.0549092069
        4:[f10<0] yes=7,no=8,missing=7
            7:[f8<19.9899998] yes=11,no=12,missing=11
                11:leaf=0.0621421933
                12:leaf=0.00554796588
            8:leaf=-0.0474151336
    2:[f8<0.400000006] yes=5,no=6,missing=5
        5:leaf=-0.0555005781
        6:[f0<0.5] yes=9,no=10,missing=9
            9:leaf=-0.0508832447
            10:[f10<0] yes=13,no=14,missing=13
                13:[f3<0.5] yes=15,no=16,missing=15
                    15:leaf=0.220791802
                    16:[f9<0.988499999] yes=19,no=20,missing=19
                        19:leaf=-0.0421211571
                        20:leaf=0.059088923
                14:[f9<0.492500007] yes=17,no=18,missing=17
                    17:[f8<17.2700005] yes=21,no=22,missing=21
                        21:leaf=0.162014976
                        22:leaf=-0.0559271388
                    18:[f3<0.5] yes=23,no=24,missing=23
                        23:leaf=0.217694834
                        24:leaf=0.0335121229
booster[11]:
0:[f9<-0.181999996] yes=1,no=2,missing=1
    1:[f8<19.3400002] yes=3,no=4,missing=3
        3:leaf=-0.0464246981
        4:[f10<0] yes=7,no=8,missing=7
            7:[f9<-0.49150002] yes=11,no=12,missing=11
                11:leaf=0.178972095
                12:leaf=-0.0509003103
            8:leaf=0.218449697
    2:[f9<0.490750015] yes=5,no=6,missing=5
        5:[f10<0] yes=9,no=10,missing=9
            9:leaf=-0.0568957441
            10:[f8<17.2800007] yes=13,no=14,missing=13
                13:leaf=-0.0513576232
                14:[f2<0.5] yes=15,no=16,missing=15
                    15:leaf=0.212948546
                    16:leaf=0.0586818419
        6:leaf=-0.0581783429

示例输入，带有预期标签:[0, 1, 0, 0, 1, 0, 1, 20, 16.8799, 0.587, 0.5]，标签:0
multi:softmax 输出:[0]
multi:softprob 输出(如果有帮助):[[0.24506968 0.13953298 0.13952732 0.13952732 0.19666144 0.13968122]]

我知道这是一个问题，希望我解释清楚。任何帮助将非常感激。提前致谢!

最佳答案

这些树建立在它们之前为每个类迭代的基础上(因此 boosting !)。在您的示例中，booster[0] 和 booster[6] 都有助于为 0 类提供 softmax 概率的分子。

更一般地说，booster[i] 和 booster[i+6] 有助于为 i 类提供 softmax 概率的分子。如果你从 2 开始增加迭代次数，你有 booster[i], booster[i+6], ... booster[i+6n] 所有对类 i 的贡献都用于 n-1 次迭代。

我们可以使用您的示例来证明这一点:

根据您的输入和转储的 txt 文件，我们可以找到每个助推器的叶值:

Booster 0: 0.24489
Booster 1: -0.0594
Booster 2: -0.0595
Booster 3: -0.0595
Booster 4: 0.27587
Booster 5: -0.0589
Booster 6: 0.2
Booster 7: -0.0587
Booster 8: -0.0587
Booster 9: -0.0587
Booster 10: -0.0508
Booster 11: -0.0582

现在我们只需代入 softmax 公式即可得出 softprob 下五个类别中每个类别的概率。

Z_0 = e^{0.24489+0.2} = 1.5603
Z_1 = e^{-0.0594-0.0587} = 0.8886
Z_2 = e^{-0.0595-0.0587} = 0.8885
Z_3 = e^{-0.0595-0.0587} = 0.8885
Z_4 = e^{0.2758-0.0508} = 1.2523
Z_5 = e^{-0.0589-0.0582} = 0.8895

将这些相加得到 softmax 概率的分母:6.3677

因此，我们可以为每个类计算 softprob，

P(output=0) = 1.5603/6.3677 = 0.2450
P(output=1) = 0.8886/6.3677 = 0.1395
P(output=2) = 0.8885/6.3677 = 0.1395
P(output=3) = 0.8885/6.3677 = 0.1395
P(output=4) = 1.2523/6.3677 = 0.1967
P(output=5) = 0.8895/6.3677 = 0.1397

选择概率最高的类别(类别 0)将产生您预测的 softmax 输出。

关于python - 解释 XGBoost 树的叶值以解决多类分类问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62629149/

文章推荐： macos - 更改插入符号的颜色 SwiftUI TextField MacOS

文章推荐： amazon-web-services - 获取现有 VPC 以在 Pulumi 堆栈中使用

解决@Cacheable在同一个类中方法调用不起作用的问题
@Cacheable在同一类中方法调用无效上述图片中，同一个类中genLiveBullets()方法调用同类中的queryLiveByRoom()方法，这样即便标识了Cacheable标签，
解决@Transaction注解导致动态切换更改数据库失效问题
目录 @Transaction注解导致动态切换更改数据库失效使用场景遇到问题解决 @Transaction
解决@RequestBody使用不能class类型匹配的问题
@RequestBody不能class类型匹配在首次第一次尝试使用@RequestBody注解开始加载字符串使用post提交（貌似只能post），加Json数据格式传输的时候，
解决@Autowired注入static接口的问题
目录 @Autowired注入static接口问题 @Autowired自动注入普通service很方便但是如果注入static修饰的serv
解决@RequestBody部分属性丢失的问题
目录 @RequestBody部分属性丢失问题描述 JavaBean实现 Controller实现
解决@PathVariable参数接收不完整的问题
目录解决@PathVariable参数接收不完整的问题今天遇到的问题是：解决办法： @PathVariable接受的参
解决@Transactional注解事务不回滚不起作用的问题
这几天在项目里面发现我使用@Transactional注解事务之后，抛了异常居然不回滚。后来终于找到了原因。如果你也出现了这种情况，可以从下面开始排查。 1、特性先来了解一下@Trans
解决@PathVariable对于特殊字符截断的问题
概述： ? 1
解决@Around对静态方法不生效的问题
场景：在处理定时任务时，由于这几个方法都是静态方法，在aop的切面中使用@Around注解，进行监控方法调用是否有异常。发现aop没有生效。代码如下：
解决.net项目中上传的图片或者文件太大无法上传问题
最近做项目的时候用户提出要上传大图片一张图片有可能十几兆本来用的第三方的上传控件有限制图片上传大小的设置以前设置的是2M&nb
azure - 解决 SystemForCrossDomainIdentityManagementBadResponse
我已经实现了这个SCIM reference code在我们的应用程序中。我实现的代码确实通过了此postman link中存在的所有用户测试集合。。我的 SCIM Api 也被 Azure 接受
javascript - 等待 ".then"解决
我一直对“然后”不被等待的行为感到困扰，我明白其原因。然而，我仍然需要绕过它。这是我的用例。 doWork(family) { return doWork1(family)
javascript - 解决 promise
我正在尝试查找 channel 中的消息是否仍然存在，但是，我不确定如何解决 promise ，查看其他答案和文档，我可以看到它可能是通过函数实现的，但我是不完全确定如何去做。我希望能在这方面获得一些
java - 解决 IllegalAccessError
我有以下情况: 同一工作区中的 2 个 Eclipse 项目:Apa 和 Bepa(为简洁起见，使用化名)。 Apa 项目引用(包括)Bepa 项目。我在 Bepa 有一个类 X，具有公共(publ
java - 解决 NoClassDefFoundError
这个问题已经有答案了: Why am I getting a NoClassDefFoundError in Java? (31 个回答) 已关闭 6 年前。我正在努力学习 spring。所以我输入
java - 解决 ConcurrentModificationException
我正在写一个小游戏，屏幕上有许多圆圈在移动。我在两个线程中管理圈子，如下所示: public void run() { int stepCount = 0; int dx;
python - 解决()执行中止
我在使用 Sympy 求解方程时遇到问题。当我运行代码时，例如: 打印(校正(10)) 我希望它打印一个数字 f。相反，它给我错误:执行中止。 def correction(r): from
css - div布局问题。解决
好吧，我制作的每个页面都有这个问题。我不确定我做错了什么，但我所有的页面都不适用于所有分辨率。可能是因为我使用的是宽屏？大声笑我不确定，但在小于宽屏分辨率的情况下，它永远不会看起来正确。它的某些部分你
c# - 解决 ||检查字符串时的运算符
我正在尝试像这样进行一个非常简单的文化 srting 检查 if(culture.ToUpper() == "ES-ES" || "IT-IT") { //do something } else
linux - 解决.bashrc的最佳方法是什么？
Closed. This question is off-topic. It is not currently accepting answers. Learn more。想改进这个问题吗？Upda

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - 解释 XGBoost 树的叶值以解决多类分类问题