scala - 如何从 Spark mllib 中的交叉验证获得准确度、召回率和 ROC？

Question

我使用的是 Spark 2.0.2。我还使用“ml”库进行数据集机器学习。我想要做的是运行带有交叉验证的算法并提取提到的指标(准确度、精确度、召回率、ROC、混淆矩阵)。我的数据标签是二进制的。

通过使用 MulticlassClassificationEvaluator，我只能通过访问“avgMetrics”来获取算法的准确性。另外，通过使用 BinaryClassificationEvaluator，我可以获得 ROC 下的面积。但我不能同时使用它们。那么，有没有一种方法可以提取所有想要的指标？

Answer 1

已尝试使用 MLlib 来评估您的结果。

我已将数据集转换为 RDD，然后使用 MulticlassMetrics在MLlib中

您可以在此处查看演示:Spark DecisionTreeExample.scala

private[ml] def evaluateClassificationModel(
      model: Transformer,
      data: DataFrame,
      labelColName: String): Unit = {
    val fullPredictions = model.transform(data).cache()
    val predictions = fullPredictions.select("prediction").rdd.map(_.getDouble(0))
    val labels = fullPredictions.select(labelColName).rdd.map(_.getDouble(0))
    // Print number of classes for reference.
    val numClasses = MetadataUtils.getNumClasses(fullPredictions.schema(labelColName)) match {
      case Some(n) => n
      case None => throw new RuntimeException(
        "Unknown failure when indexing labels for classification.")
    }
    val accuracy = new MulticlassMetrics(predictions.zip(labels)).accuracy
    println(s"  Accuracy ($numClasses classes): $accuracy")
  }