catboost - 如何使用 catboost 过拟合检测器

Question

我试图了解 catboost 过拟合检测器。它在这里描述:

https://tech.yandex.com/catboost/doc/dg/concepts/overfitting-detector-docpage/#overfitting-detector

其他梯度提升包，如 lightgbm 和 xgboost 使用一个名为 early_stopping_rounds 的参数，它很容易理解(一旦在 early_stopping_round 步骤中验证错误没有减少，它就会停止训练)。

但是，我很难理解 catboost 使用的 p_value 方法。谁能解释这个过拟合检测器的工作原理以及它何时停止训练？

Answer 1

它没有在 Yandex 网站或 github 存储库中记录，但是如果您仔细查看发布到 github 的 python 代码(特别是 here )，您将看到通过在参数中设置“od_type”来激活过拟合检测器。回顾最近在 github 上的提交，catboost 开发人员最近还实现了一个类似于 lightGBM 和 xgboost 使用的“early_stopping_rounds”参数的工具，称为“Iter”。
要设置最近一次最佳迭代后停止前要等待的轮数，请在“od_wait”参数中提供一个数值。

例如:

fit_param <- list(
  iterations = 500,
  thread_count = 10,
  loss_function = "Logloss",
  depth = 6,
  learning_rate = 0.03,
  od_type = "Iter",
  od_wait = 100
)

我在 R 3.4.1 中使用 catboost 库。我发现在 fit_param 列表中设置“od_type”和“od_wait”参数非常适合我的目的。

我意识到这并没有回答您关于使用 catboost 开发人员也实现的 p_value 方法的方式的问题；不幸的是，我无法帮助您。希望其他人可以向我们俩解释该设置。