apache-spark - Apache Spark 与 Spring Cloud 数据流

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

5 个月前关闭。




Improve this question




我是大数据处理的新手，我正在阅读有关流处理和构建数据管道的工具。
我找到了 Apache Spark 和 Spring Cloud Data Flow。我想知道它们的主要区别和优缺点。
有人可以帮我吗？

Answer 1

它们是两种完全不同的工具。

Spring Data Flow是用于构建数据集成和实时数据处理管道的工具包。此工具将帮助您使用 Spring Boot 应用程序(流或任务)编排数据管道。在幕后，SCDF 可能会使用 Spring Batch。注意这个 Spring Boot Apps 可以调用 Spark 或 Kafka 应用程序来支持流处理。

Apache Spark是一个数据处理引擎，它被高度用于数据密集型处理和数据科学。它有ML(机器学习)、Graph(图形处理)等库，与Apache Kafka集成。 (Spark Streaming)等。

对于流媒体，我强烈建议您学习 Apache Kafka。