machine-learning - sklearn中的最大似然估计

Question

在我的项目中，我使用 sklearn 中的 GridSearchCV 来详尽搜索模型的指定参数值，以找到最佳的参数值。我只是在 RandomForestClassifier 中进行了测试，并帮助我找到了最好的 max_depth 和 n_estimators。基于此，我有两个问题:

1. GridSearchCV 是否在底层使用了最大似然估计 (MLE) 的概念？
2. 是否可以使用一种技术来为我的数据集选择最佳模型，而不是对每个模型都使用 GridSearchCV？我认为这是模型选择的概念，但我不知道如何通过 sklearn 来使用它。

谢谢

Answer 1

Does GridSearchCV use the concept of Maximum Likelihood Estimation (MLE) under the hood?

MLE 是概率推理，因此它只能应用于概率模型。 GridSearchCV 不是基于 MLE 的，它是一个基于测试误差的直接估计来进行模型选择的简单技巧。因此，给定一个特定的模型，它可以分配一个代表它有多好的数字 - 给定许多模型，您可以简单地选择数字最大的那个(估计泛化强度最高)。

Instead of using GridSearchCV for every model, is there a technique that I can use to choose the best model for my dataset? I think this is under the concept of model selection but I don't know how to use it via sklearn.

有很多，但是 sklearn 几乎只实现了各种训练测试分离器(CV、随机等)；相反，您可能需要考虑其他支持的库:

• 贝叶斯优化
• Parzen 估计树技术

哪些是寻找良好超参数的更高级方法(而不仅仅是检查现有的超参数)。