python - H2O python : Extract grid search model that with highest AUC on validation data set

Question

我正在使用网格搜索和 H2O Python API 构建随机森林模型。我在训练和验证中拆分数据，并使用 k-fold 交叉验证来选择网格搜索中的最佳模型。

我能够检索在训练集上具有最佳 MSE 的模型，但我想检索在验证集上具有最高 AUC 的模型。

我可以用 Python 编写所有代码，但我想知道是否有 H2O 方法可以解决这个问题。对我如何做到这一点有什么建议吗？

Answer 1

如果 g 是您的网格对象，则:

g.sort_by('auc', False);

将为您提供 AUC 订购的型号。 False 的第二个参数意味着最高的 AUC 将排在第一位。它返回一个 H2OTwoDimTable 对象，因此您可以通过这种方式选择第一个模型(最佳模型，按 AUC)。

我认为应该根据验证集而不是训练集的分数进行排序。但是，您可以通过以下方式明确指定它:

g.sort_by('auc(valid=True)', False);