scala - Spark ML - 保存 OneVsRestModel

Question

我正在重构我的代码以利用 DataFrames, Estimators, and Pipelines .我最初使用的是 MLlib Multiclass LogisticRegressionWithLBFGS在 RDD[LabeledPoint] .我很享受学习和使用新 API，但我不确定如何保存我的新模型并将其应用于新数据。

目前，LogisticRegression的ML实现只支持二分类。我是，而不是使用 OneVsRest像这样:

val lr = new LogisticRegression().setFitIntercept(true)
val ovr = new OneVsRest()
ovr.setClassifier(lr)
val ovrModel = ovr.fit(training)

我现在想保存我的 OneVsRestModel ，但这似乎不受 API 支持。我试过了:

ovrModel.save("my-ovr") // Cannot resolve symbol save
ovrModel.models.foreach(_.save("model-" + _.uid)) // Cannot resolve symbol save

有没有办法保存它，以便我可以将其加载到新应用程序中以进行新预测？

Answer 1

Spark 2.0.0
OneVsRestModel工具MLWritable所以应该可以直接保存。下面显示的方法对于单独保存单个模型仍然很有用。

Spark < 2.0.0

这里的问题是 models返回 Array的 ClassificationModel[_, _]]不是 Array的 LogisticRegressionModel (或 MLWritable)。要使其工作，您必须具体说明类型:

import org.apache.spark.ml.classification.LogisticRegressionModel

ovrModel.models.zipWithIndex.foreach { 
  case (model: LogisticRegressionModel, i: Int) => 
    model.save(s"model-${model.uid}-$i")
}

或者更通用:

import org.apache.spark.ml.util.MLWritable

ovrModel.models.zipWithIndex.foreach { 
  case (model: MLWritable, i: Int) =>
    model.save(s"model-${model.uid}-$i")
}

不幸的是，目前(Spark 1.6) OneVsRestModel不实现 MLWritable所以它不能单独保存。

备注 :

所有型号都在 OneVsRest好像用的一样 uid因此我们需要一个明确的索引。稍后识别模型也将很有用。