python - 避免 GridSearchCV 中的某些参数组合

Question

我正在使用 scikit-learn 的 GridSearchCV 迭代参数空间以调整模型。具体来说，我用它来测试神经网络中的不同超参数。网格如下:

params = {'num_hidden_layers': [0,1,2],
          'hidden_layer_size': [64,128,256],
          'activation': ['sigmoid', 'relu', 'tanh']}

问题是，当隐藏 num_hidden_​​layers 设置为 0 时，我最终会运行冗余模型。它将运行一个具有 0 个隐藏层和 64 个单元的模型，另一个具有 128 个单元，另一个具有 256 个单元。所有这些模型都是等价的，因为没有隐藏层。这是非常低效的，这意味着我需要编写更多代码来消除结果中的冗余。

有没有办法防止这种参数组合，也许是通过传递一个参数元组？

Answer 1

sklearn documentation建议使用两个参数网格。

所以你可以这样做:

param_grid = [
    {'num_hidden_layers': [1,2],
      'hidden_layer_size': [64,128,256],
      'activation': ['sigmoid', 'relu', 'tanh']},
    {'num_hidden_layers': [0],
      'hidden_layer_size': [64],
      'activation': ['sigmoid', 'relu', 'tanh']}
    ]