scala - 使用 Spark MLib 与 PredictionIO 进行 Play 框架比较

Question

早上好，

目前，我正在探索为我工作的公司构建内部平台的选择。我们的团队负责公司的数据仓库和报告。

随着我们的发展，我们将开发一个 Intranet 来满足公司的一些需求，并且一段时间以来，我正在考虑使用 scala(和 PlayFramework)作为解决方案。

这还将涉及大量机器学习来对客户进行聚类、预测销售变化等。这时我开始思考 Spark ML 并遇到了 PredictionIO。

当我们将技能转向数据科学时，什么对我们/公司最有利，最能教会我们:

• 在 Play 和 Spark 之上构建所有内容，并在同一项目上同时拥有平台和机器学习
• 使用 Play 和 PredictionIO，其中大部分内容已准备就绪

我并不是想提出一个基于意见的问题，而是从您的经验/架构/解决方案中学习。

谢谢

Answer 1

两者都是不错的选择:1. 如果您是 ML 的新手，请使用 PredictionIO，容易上手，但从长远来看会限制您，2. 使用 spark 如果您对自己的数据科学和数据工程团队有信心，spark 拥有出色且易于使用的 API 以及广泛的ML 库，说为了将东西投入生产，您将需要一些分布式 Spark 知识 - 经验，有时要使其高效且可靠是很棘手的。

以下是选项:

1. spark databricks cloud 昂贵但易于使用 Spark，无需数据工程
2. PredictionIO 如果您确定他们的 ML 可以解决您的所有业务案例
3. google dataproc 中的 spark，易于管理的集群，比 aws 节省 60%，仍需要一些工程

总之:PredictionIO 用于快速修复，spark 用于长期数据 - 科学/工程开发。您可以从 databricks 开始，以最大限度地减少专业知识开销，然后逐渐转向 dataproc，以最大限度地减少成本