apache-kafka - Kafka独立消费者

Question

我是 Kafka 的新手，正在尝试验证我的设计。以下是我所拥有的。

我有一个生产者发布到一个主题，并有一堆容器(部署了我的网络应用程序)，每个容器上都运行着一个消费者。这些消费者不在消费者组中，独立消费消息。每个消费者都应该阅读主题中的所有消息。例如假设在主题上有 3 条消息 - m0、m1、m2 那么 consumer1 到 consumerN 应该独立阅读 m0、m1、m2。每个消费者在处理读取的消息后立即提交偏移量。每当重新部署我的 Web 应用程序时，所有消费者都会关闭并重新启动。他们应该从上次提交的偏移量开始读取。

对于这个设置，正如我所说，我所有的消费者都不在任何消费者组中，我想这应该让他们独立阅读消息，请确认这是正确的吗？这个设计有什么缺陷吗？

Answer 1

你的设计只是遗漏了一个小东西，你的每个容器都必须定义一个不同的(kafka)消费者组并在重启时重用它。否则，每次启动时都会为每个消费者分配一个随机组 ID，因此他们不会在关闭时离开的地方继续消费。