apache-spark - Spark : regression model threshold and precision

Question

我有逻辑回归模式，我明确地将阈值设置为 0.5。

model.setThreshold(0.5)

我训练模型，然后我想获得基本统计数据——准确率、召回率等。

这是我在评估模型时所做的:

val metrics = new BinaryClassificationMetrics(predictionAndLabels)

val precision = metrics.precisionByThreshold


precision.foreach { case (t, p) =>

      println(s"Threshold is: $t, Precision is: $p")

    }

我得到的结果只有 0.0 和 1.0，因为阈值和 0.5 的值被完全忽略了。

这是上述循环的输出:

阈值为:1.0，精度为:0.8571428571428571

阈值为:0.0，精度为:0.3005181347150259

当我调用 metrics.thresholds() 时，它也只返回两个值，0.0 和 1.0。

如何获得阈值为 0.5 的精度和召回值？

Answer 1

在进行预测之前，您需要清除模型阈值。清除阈值使您的预测返回分数而不是分类标签。如果不是，您将只有两个阈值，即您的标签 0.0 和 1.0。

model.clearThreshold()

来自预测和标签的元组应该看起来像 (0.6753421,1.0)而不是 (1.0,1.0)
看看 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/BinaryClassificationMetricsExample.scala

如果输入很大，您可能仍然希望设置 numBins 来控制点数。