apache-kafka - Kafka Streams 用例

Question

我正在构建一个简单的应用程序，它按顺序执行 -

1) 从远程 IBM MQ 读取消息(旧系统仅适用于 IBM MQ)

2) 将这些消息写入 Kafka Topic

3) 从同一个 Kafka Topic 读取这些消息并调用 REST API。

4) 将来可能会有其他消费者阅读此主题。

我开始知道 Kafka 有新的流 API，它在速度/简单性等方面应该比 Kafka 消费者更好。有人可以告诉我流 API 是否适合我的用例以及在什么时候在我的过程中，我可以插入吗？

Answer 1

确实，与 Kafka Consumer API 相比，Kafka Streams API 有一种简单的方法来消费记录(例如，您不需要轮询、管理线程和循环)，但它也有成本(例如本地数据存储 -如果您进行有状态处理)。

我想说的是，如果您需要一条一条地消费记录并调用 REST API，请使用 Consumer API，如果您需要有状态处理、查询主题状态等，请使用 Streams API。

有关更多信息，请查看此博客文章:https://balamaci.ro/kafka-streams-for-stream-processing/