machine-learning - 如何调整 Sklearn 随机森林？ max_depth 和 min_samples_leaf

Question

max_深度 VS min_samples_leaf

在多次尝试使用GridSearchCV期间，参数max_depth和min_samples_leaf让我最困惑。据我了解，这两个参数都是控制树木深度的一种方法，如果我错了，请纠正我。

max_features

我正在做一个非常简单的分类任务，更改 min_samples_leaf 似乎对 AUC 分数没有影响；然而，调整深度将我的 AUC 从 0.79 提高到 0.84，相当显着。其他似乎也没有影响它。我认为我应该调整的主要内容是 max_features，但是，最佳结果值与 sqrt(n_features) 相差不远。

scoring='roc_auc'

另一个问题，我注意到如果在更改树的数量时固定所有参数，GridSearchCV 将始终选择最大数量的树。这是可以理解的，但由于某些原因，尽管 scoring='roc_auc'，AUC 仍略有下降。为什么会这样？它会考虑 oob_score 吗？

请随意分享任何有助于理解如何系统地调整随机森林的资源，因为似乎很少有相关参数相互影响。

Answer 1

随着最大深度的增加，方差也会增加，偏差也会减少。另一方面，当您增加最小样本叶时，您会减少方差并增加偏差。

因此，这些参数将控制生长树木时的正则化级别。总之，减少任何 ma​​x* 参数并增加任何 min* 参数都会增强正则化。

其次，很难说为什么你的准确性会下降。您可能想尝试嵌套CV来了解best_params_在泛化到未见过的数据时所表现出的准确度范围。