java - 如何将 Spark AlsModel 部署到 Spring Boot 微服务中

Question

我想使用 Spring Boot 创建一个微服务，该服务能够提供使用先前训练的 AlsModel 提出的建议。 (与apache Spark mllib协同过滤)AlsModel 在完全独立的环境中进行训练，不适合生产用例。我们有方法将存储在 hdfs 中的文件或数据传输到我们的服务层(作为文件或传输 SQL 数据库中的数据)。我知道我可以保存用户和项目特征数据帧，传输它们，然后自己计算预测，但我希望有一个更简单的解决方案来很好地处理定期更新。在我看来，过程如下:

• 在 Spark 集群内训练模型
• 将模型保存到文件(pmml 格式？？)
• 将文件传输到服务层
• Spring Boot 微服务只是在某些框架的帮助下加载文件(不会引入 Spark 依赖项)
• 享受 spring-boot 的魔力，让一切变得简单;-)

Answer 1

如果您不想将 Spark lib 包含到 Spring Boot 应用程序中。

您可以尝试mleap .

Deploying machine learning data pipelines and algorithms should not be a time-consuming or difficult task. MLeap allows data scientists and engineers to deploy machine learning pipelines from Spark and Scikit-learn to a portable format and execution engine.

因此您可以使用 mleap 读取 Spark 模型，并在 Spring Boot 应用程序中使用它。

有关更多用例，您可以查看此项目 sagemaker-sparkml-serving-container 。Amazon SageMaker 还开发了一个完全基于 Java 的服务设置，由 mleap-runtime 提供支持