scala - Spark 2逻辑回归删除阈值

Question

我正在使用 Spark 2 + Scala 来训练基于 LogisticRegression 的二元分类模型，并且我正在使用 import org.apache.spark.ml.classification.LogisticRegression，这是新的 ml API Spark 2。然而，当我通过AUROC评估模型时，我没有找到使用概率(0-1中的双倍)而不是二元分类(0/1)的方法。这是之前通过removeThreshold()实现的，但是在ml.LogisticRegression中我没有找到类似的方法。那么，有没有办法做到这一点？

我使用的评估器是

val evaluator = new BinaryClassificationEvaluator()
  .setLabelCol("label")
  .setRawPredictionCol("rawPrediction")
  .setMetricName("areaUnderROC")
val auroc = evaluator.evaluate(predictions)`

Answer 1

如果你想获得 0/1 输出以外的概率输出，请尝试以下操作:

import org.apache.spark.ml.classification.{BinaryLogisticRegressionSummary, LogisticRegression}
val lr = new LogisticRegression()
  .setMaxIter(100)
  .setRegParam(0.3)
val lrModel = lr.fit(trainData)
val summary = lrModel.summary
summary.predictions.select("probability").show()