r - 用于预测的阈值

Question

根据 H2O 文档，预测时使用的阈值是列车的最大 F1 阈值。
性能函数，

h2o.performance(model, newdata = test)

实际上在测试集上运行预测以计算混淆矩阵。

奇怪的是，我在使用以下方法预测相同的测试集时得到了不同的混淆矩阵:

h2o.predict(object, newdata=test).

这意味着 h2o.performance()正在使用与 h2o.predict() 不同的阈值.
我想知道如何在预测时指定阈值。

Answer 1

H2O 对 h2o.performance() 和 h2o.predict() 都使用最大 F1 阈值。区别是什么数据集它将用于估计最大 F1 阈值。

h2o.predict() 将使用它在训练期间选择的阈值。它根据模型的训练方式使用不同的最大 F1 阈值。基本上:

如果您只有训练数据 - 最大 F1 阈值来自训练数据模型。

如果在训练期间有验证数据 - 最大 F1 阈值来自验证数据模型。

这在 documentation 中有解释以及 stackoverflow .根据您在训练期间是否有验证数据，您将看到由 确定的最大 F1 阈值。培训或验证 数据集。

h2o.performance() 将采用模型和新数据并计算为 提供最高 F1 的阈值。新数据 .在您的情况下， 测试 用于计算最大 F1 阈值。