python - 如何使用 GridSearchCV 获得每组参数的预测？

Question

我正在尝试使用 GridSearchCV 和以下代码找到 NN 回归模型的最佳参数:

param_grid = dict(optimizer=optimizer, epochs=epochs, batch_size=batches, init=init
grid = GridSearchCV(estimator=model, param_grid=param_grid, scoring='neg_mean_squared_error')
grid_result = grid.fit(input_train, target_train)

pred = grid.predict(input_test)

据我了解，grid.predict(input_test) 使用最佳参数来预测给定的输入集。有什么方法可以使用测试集评估每组参数的 GridSearchCV 吗？

实际上，我的测试集包含一些特殊记录，我想测试模型的通用性和准确性。谢谢。

Answer 1

您可以使用自定义迭代器替换 GridSearchCV 的标准 3 倍 cv 参数，该迭代器会生成连接的训练和测试数据帧的训练和测试索引。因此，在进行 1 倍交叉验证时，您将在 input_train 对象上训练模型，并在 input_test 对象上测试拟合模型:

def modified_cv(input_train_len, input_test_len):
    yield (np.array(range(input_train_len)), 
           np.array(range(input_train_len, input_train_len + input_test_len)))

input_train_len = len(input_train)
input_test_len = len(input_test)
data = np.concatenate((input_train, input_test), axis=0)
target = np.concatenate((target_train, target_test), axis=0)
grid = GridSearchCV(estimator=model, 
                    param_grid=param_grid,
                    cv=modified_cv(input_train_len, input_test_len), 
                    scoring='neg_mean_squared_error')
grid_result = grid.fit(data, target)

通过访问 grid_result.cv_results_ 字典，您将在测试集上看到指定模型参数的所有网格的指标值。