apache-kafka - Apache Beam over Apache Kafka流处理

Question

在流处理方面，Apache Beam和Apache Kafka之间有什么区别？
我也试图掌握技术和程序上的差异。

请通过您的经验报告来帮助我理解。

Answer 1

Beam是一种API，它以一种统一的方式使用基础流处理引擎(例如Flink，Storm等)。

Kafka主要是一个集成平台，提供基于独立应用程序用来相互通信的主题的消息传递系统。

在此消息传递系统(和Producer/Consummer API)的顶部，Kafka提供了一个API，可以使用消息作为数据和主题作为输入或输出来执行流处理。 Kafka流处理应用程序是独立的Java应用程序，并且充当常规的Kafka Consummer和Producer(这对于了解如何管理这些应用程序以及如何在流处理应用程序实例之间共享工作负载非常重要)。

简而言之，Kafka Stream处理应用程序是独立的Java应用程序，它们在Kafka Cluster之外运行，从Kafka Cluster馈送并将结果导出到Kafka Cluster。在其他流处理平台上，流处理应用程序在群集引擎内部运行(并由该引擎管理)，从其他位置进行馈送并将结果导出到其他位置。

Kafka和Beam Stream API之间的一大区别是Beam在数据流中限制了有界数据之间的界限，而让Kafka没有了差异。因此，必须使用定时/ session 化窗口来手动收集带有Kafka API的有限数据，以收集数据。