python - 对于分布式计算任务，celery和spark哪个更好

Question

关闭。这个问题是 opinion-based 。目前不接受答案。

---

想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 .

已关闭 6 年前。

Improve this question

问题:计算任务可以轻松并行。但需要实时响应。

可以有两种方法。1. 使用 Celery:从头开始并行运行作业2.使用Spark:与spark框架并行运行作业

我认为 Spark 在可扩展性方面更好。但是 Spark 作为 Web 应用程序的后端可以吗？

Answer 1

除了上述答案之外，还有其他方面需要确定。

1. 与现有的大数据堆栈集成(如果有)。
2. 摄取数据管道
3. 您提到“网络应用程序的后端”。我假设它用于读取操作。任何批处理应用程序的响应时间可能并不适合任何 Web 应用程序。

选择流式传输可以帮助您更快地将数据传输到集群中。但它不能保证 Web 应用程序所需的响应时间。您需要查看 HBase 和 Solr(如果您正在搜索)。

Spark 无疑比其他批处理框架更好、更快。在流媒体中可能很少有其他的。正如我上面提到的，您应该考虑做出选择的参数。