apache-spark - Scala 到 Java 8 MLeap 翻译

Question

我想使用MLeap部署 Spark ML 机器学习模型并使用它们进行实时预测。

创建者发布了 Scala 教程，但我需要支持 Java 8 代码库。

如何在 Java 8 中实现以下代码:

val pipeline = SparkUtil.createPipelineModel(uid = "pipeline", Array(featureModel, rfModel))

val sbc = SparkBundleContext()
for(bf <- managed(BundleFile("jar:file:/tmp/mnist.model.rf.zip"))) {
        pipeline.writeBundle.save(bf)(sbc).get
      }

val bundle = (for(bundleFile <- managed(BundleFile("jar:file:/tmp/simple-spark-pipeline.zip"))) yield {
  bundleFile.loadMleapBundle().get
}).opt.get

Answer 1

如果您仅使用普通 Spark ML 转换器，则可以使用 SimpleSparkSerializer轻松保存和加载您的模型。

保存:

new SimpleSparkSerializer().serializeToBundle(model, "jar:file:/tmp/model.zip", trainData);

加载中:

Transformer model = new SimpleSparkSerializer().deserializeFromBundle("jar:file:/tmp/model.zip");