python - 如何让 CatBoost get_object_importance 与 AUC 配合使用？

Question

我复制了示例 here .

该示例尝试改进 RMSE(较低 -> 更好)。

我的有限理解是 CatBoost 将尝试在幕后最小化 LogLoss。在此示例中，较低的 LogLoss 似乎与较低的 RMSE 相关。

RMSE on validation datset when 0 harmful objects from train are dropped: 0.25915746122622113
RMSE on validation datset when 250 harmful objects from train are dropped: 0.25601149050939825
RMSE on validation datset when 500 harmful objects from train are dropped: 0.25158044983631966
RMSE on validation datset when 750 harmful objects from train are dropped: 0.24570533776587475
RMSE on validation datset when 1000 harmful objects from train are dropped: 0.24171376432589384
RMSE on validation datset when 1250 harmful objects from train are dropped: 0.23716221792112202
RMSE on validation datset when 1500 harmful objects from train are dropped: 0.23352830055657348
RMSE on validation datset when 1750 harmful objects from train are dropped: 0.23035731488436903
RMSE on validation datset when 2000 harmful objects from train are dropped: 0.2275943109556251

除了使用 cb.eval_metrics(validation_pool, ['RMSE'])['RMSE'][-1] 观察 RMSE 之外，该示例并未真正使用 RMSE 作为自定义损失函数。

cb = CatBoost({'iterations': 100, 'verbose': False, 'random_seed': 42})
print(cb.eval_metrics(validation_pool, ['RMSE'])['RMSE'][-1])

就我而言，我有一个二元分类问题，我想最大化 AUC。我不确定是否应该保留代码不变，并希望较低的 logloss 与较高的 AUC 相关(事实并非如此)，或者我是否需要以不同的方式进行设置，也许使用 AUC 作为自定义损失/eval_metric函数，然后将 importance_values_sign 从“正”翻转为“负”。

Answer 1

如果出现 loss_function='RMSE'，CatBoost 会尝试最小化 RMSE 损失函数，而不是 Logloss。 RMSE 是默认的 CatBoost 损失函数。

CatBoost 使用 this 中的公式评估 Logloss页。因此，较低的 Logloss 与较高的 AUC 相关。

所以，你只需要更换

cb = CatBoost({'iterations': 100, 'verbose': False, 'random_seed': 42})

与

cb = CatBoost({'loss_function': 'Logloss', 'iterations': 100, 'verbose': False, 'random_seed': 42})

观察的不是 RMSE，而是 AUC。