scala - 是否可以将 Spark ML CrossValidatorModel 应用到 Flink Streaming 数据流中？

Question

Flink 是流式处理的明显选择，但是 Spark 已经成熟了 ML pipeline，是否可以在 Spark 中训练模型，将其另存为 CrossValidatorModel code> 并部署到 Flink 中的流数据？全部在 scala 中？

Answer 1

Flink 目前(2017 年 3 月，Flink 1.2)不支持为流提供机器学习模型。不过，这是社区当前正在讨论的一个功能。

欢迎在 Flink 中提交 JIRA 来请求该功能。

在 Flink 正式支持之前，可能还有其他方法将模型加载到 Flink 中。 (免责声明:我真的不是 Spark ML 方面的专家)。从 JavaDocs 来看，CrossValidatorModel 似乎有一个方法 write()，它返回一个带有 save(String path) 的 MLWriter 方法。

您可以在 Spark 中构建模型，使用 MLWriter 保存模型，然后使用 MLReader 在 Flink 中再次加载模型并在流中使用它。