python - GridSearchCV 将为此运行多少种组合？

Question

使用 sklearn 在随机森林分类器上运行网格搜索。这个运行的时间比我想象的要长，我正在尝试估计这个过程还剩多少时间。我认为它的总拟合次数是 3*3*3*3*5 = 405。

clf = RandomForestClassifier(n_jobs=-1, oob_score=True, verbose=1)
param_grid = {'n_estimators':[50,200,500],
'max_depth':[2,3,5],
'min_samples_leaf':[1,2,5],
'max_features': ['auto','log2','sqrt']
}

gscv = GridSearchCV(estimator=clf,param_grid=param_grid,cv=5)
gscv.fit(X.values,y.values.reshape(-1,))

从输出中，我看到它循环执行任务，其中每组都是估计器的数量:

[Parallel(n_jobs=-1)]: Done 34 tasks | elapsed: 1.2min
[Parallel(n_jobs=-1)]: Done 184 tasks | elapsed: 5.3min
[Parallel(n_jobs=-1)]: Done 200 out of 200 tasks | elapsed: 6.2min finished
[Parallel(n_jobs=8)]: Done 34 tasks | elapsed: 0.5s
[Parallel(n_jobs=8)]: Done 184 tasks | elapsed: 3.0s
[Parallel(n_jobs=8)]: Done 200 tasks out of 200 tasks | elapsed: 3.2s finished
[Parallel(n_jobs=-1)]: Done 34 tasks | elapsed: 1.1min
[Parallel(n_jobs=-1)]: Done 50 tasks out of 50 tasks | elapsed: 1.5min finished
[Parallel(n_jobs=8)]: Done 34 tasks | elapsed: 0.5s
[Parallel(n_jobs=8)]: Done 50 out of 50 tasks | elapsed: 0.8s finished

我数了一下“完成”的数量，目前是680个。我以为会在405完成，难道我的计算有误？

Answer 1

您的计算似乎是正确的:网格数是不同参数的组合乘积，在本例中为 81:

>>> from sklearn.model_selection import ParameterGrid

>>> pg = ParameterGrid(param_grid)
>>> len(pg)
81

在每个交叉验证中，您有 5 个交叉验证，总共 405 个。任务 完全是一个单独的指示。

详细 获取 passed through到父类 BaseForest，然后到 joblib 的 Parallel .

我不太确定在这种情况下任务的构成是什么，但顶级网格训练组合的数量应该是 405。请记住，每个组合又都是树的集合。