python - python 中超参数组的并行交叉验证

Question

我需要立即针对特定组运行许多交叉验证

SVR hyperparamters: ((C_0,gamma_0),(C_1,gamma_1)...(C_n,gamma_n)) and thus, seek for a parallelization method to speed it up.

也许可以运行 GridSearchCV，这样就可以以“元素明智”的方式检查它们，而不是检查超参数的每种可能的组合。示例:

tuned_parameters = [{'kernel': ['rbf'], 'gamma': [1e-3, 1e-4],
                     'C': [100, 1000]]

clf = GridSearchCV(SVR(), tuned_parameters, cv=5, n_jobs=-1) 

clf.fit(X_train, y_train)

因此，在这种情况下，只会检查两对超参数，即:(1e-3,100) 和 (1e-4,1000)，而不是所有四个组合。

Answer 1

您可以尝试使用字典列表来指定参数。

类似这样的事情:

tuned_parameters = [{'kernel': ['rbf'], 
                     'gamma': [1e-3],
                     'C': [100]}, 
                    {'kernel': ['rbf'], 
                     'gamma': [1e-4],
                     'C': [1000]}]

调用 clf.fit() 现在将在参数列表的两个元素上搜索参数，一次使用一个值中的所有值。

因此只会使用两种组合:('rbf', 1e-3, 100) 和 ('rbf', 1e-4, 1000)