scala - 使用 DecisionTreeModel Spark ML 保存管道

Question

上下文:

我有一个 Spark ML 管道，其中包含 VectorAssembler、StringIndexer 和 DecisionTreeClassifier。使用这个管道，我能够成功地拟合模型并转换我的数据框架。我想存储此模型以供将来使用，但我不断收到以下错误:

Pipeline write will fail on this Pipeline because it contains a stage which does not implement Writable. 
Non-Writable stage: dtc_9c04161ed2d1 of type class org.apache.spark.ml.classification.DecisionTreeClassificationModel

我尝试过的:

val pipeline = new Pipeline().setStages(Array(assembler, labelIndexer, dt))
val model = pipeline.fit(dfIndexed)
model.write.overwrite().save("test/model/pipeline")

当我删除分类器(即 dt)时，这可以正常工作。有没有办法保存 DecisionTreeClassifier 模型？

我的数据由一些索引分类值组成，我必须将它们映射回其原始形式(我知道这需要使用 IndexToString)。我使用的是 Spark 1.6。

Answer 1

从 Spark 1.6 开始无法完成此操作。问题正在追踪中here .