java - 如何将模型从 ML Pipeline 保存到 S3 或 HDFS？

Question

我正在尝试保存 ML Pipeline 生成的数千个模型。如答案中所示 here ，模型可以保存如下:

import java.io._

def saveModel(name: String, model: PipelineModel) = {
  val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name"))
  oos.writeObject(model)
  oos.close
}

schools.zip(bySchoolArrayModels).foreach{
  case (name, model) => saveModel(name, Model)
}

我已经尝试使用 s3://some/path/$name 和 /user/hadoop/some/path/$name 因为我希望模型最终保存到 amazon s3，但它们都失败，并显示消息指示找不到路径。

如何将模型保存到 Amazon S3？

Answer 1

将模型保存到 HDFS 的一种方法如下:

// persist model to HDFS
sc.parallelize(Seq(model), 1).saveAsObjectFile("hdfs:///user/root/linReg.model")

然后可以将保存的模型加载为:

val linRegModel = sc.objectFile[LinearRegressionModel]("linReg.model").first()

有关详细信息，请参阅 ( ref)