scala - 如何加载保存的 KMeans 模型(在 ML 管道中)？

Question

我正在学习 Scala 并尝试加载我已经运行/适合数据的模型但没有成功。运行了 6 个小时，如果我找不到保存/加载输出的方法，恐怕我将不得不重新运行它。

我将 KMeans 作为管道的一部分运行。我将在训练数据集上运行的管道输出保存为“模型”，这就是我尝试加载的内容。

运行模型后我能够保存(或者至少我认为我是)它使用:

model.write.overwrite().save("/analytics_shared/qoe/km_model")

我的问题是如何将它加载回来，这样我就可以使用它来对新数据进行聚类/评分，而无需重新运行需要 6 小时的训练。

Answer 1

你应该使用 KMeansModel.load方法。

load(path: String): KMeansModel Reads an ML instance from the input path, a shortcut of read.load(path).

在您的情况下，它将如下所示:

import org.apache.spark.ml.clustering.KMeansModel
val model = KMeansModel.load("/analytics_shared/qoe/km_model")

I ran the KMeans as part of a pipeline. I saved the output of the pipeline that I ran on my training dataset as 'model' and that was what I tried to load.

使用 ML Pipeline 时，您只需将 KMeansModel 替换为 PipelineModel 就更容易了.

import org.apache.spark.ml.PipelineModel
val model = PipelineModel.load("/analytics_shared/qoe/km_model")