scikit-learn - XGBoost 从 booster 对象中获取分类器对象？

Question

我通常使用

regr = XGBClassifier()
regr.fit(X, y)
regr.feature_importances_

其中 type(regr) 是 .

但是，我有一个腌制的 mXGBoost 模型，它在解包时返回一个类型为 的对象。这与我运行 regr.get_booster() 是同一个对象。

我找到了一些从 booster 对象获取可变重要性的解决方案，但是有没有办法从 booster 对象获取分类器对象，这样我就可以应用相同的 feature_importances_ 命令？这似乎是最直接的解决方案，或者似乎我必须编写一个模仿 feature_importances_ 输出的函数，以便它适合我记录的特征重要性...

所以理想情况下我会有类似的东西

xbg_booster = pickle.load(open("xgboost-model", "rb"))
assert str(type(xgb_booster)) == "<class 'xgboost.core.Booster'>", 'wrong class'
xgb_classifier = xgb_booster.get_classifier()
xgb_classifier.feature_importances_

在查找分类器方面，使用 booster 对象可以做什么有任何限制吗？我想有一些保存/加载/转储的组合可以让我得到我需要的东西，但我现在被卡住了......

同样对于上下文，pickled 模型是 AWS sagemaker 的输出，所以我只是将其拆开以进行进一步评估

Answer 1

根据我自己尝试从 SageMaker 生成的增强器对象重新创建分类器的经验，我了解到以下内容:

似乎不可能从助推器重新创建分类器。 :(

https://xgboost.readthedocs.io/en/latest/python/python_api.html#xgboost.Booster有关于 booster 类的详细信息，因此您可以查看它可以做什么。

但是你可以做一些疯狂的事情:

您可以创建一个分类器对象，然后覆盖其中的助推器:

xgb_classifier = xgb.XGBClassifier(**xgboost_params)

[..]

xgb_classifier._Boster = 助推器

这几乎没用，除非你适合它，否则它没有任何特征数据。 (我没有完全通过这个场景来验证拟合是否会提供功能所需的特征数据。)

您可以从分类器中移除 booster 对象，然后直接使用 xgboost 对分类器进行腌制。然后稍后将 SageMaker 助推器恢复到其中。这种可憎的东西更接近并且似乎有效，但它并不是真正来自 SageMaker 输出的再水化分类器对象。

推荐

如果您没有坚持使用 SageMaker 训练解决方案，您当然可以直接使用 XGBoost 进行训练。此时，您可以访问转储/保存数据以在不同上下文中使用所需的一切。

我知道您在追求功能重要性，所以我希望这能让您更接近，我有一个不同的用例，最终能够利用助推器来满足我的需要。