java - Kafka 多个消费者监听多个主题

Question

我们正在开发一个应用程序，我们希望在其中监听 Kafka 中的多个主题。所有主题都有一个分区。所有主题名称都有一个共同的前缀，例如“test-x”，“test-y”，因此我们可以使用 spring topicPattern 来实现它。

我们想编写一个 java spring 消费者，它使用 regexp 模式监听所有主题。我们的想法是，我们可以运行同一个消费者(属于同一组)的多个实例，Kafka 将为不同的消费者分发来自不同主题的消息。

但是，这似乎不起作用。即使我们运行消费者的多个实例，也只有一个消费者从所有主题获取消息。如果我们在主题中创建多个分区，那么它可以工作，但我们不会这样做。

这里还有什么我们不明白的吗？提前致谢。

Answer 1

Kafka 将主题内的分区分配给消费者组(具有相同 group.id 的消费者)。由于您的主题只有分区，因此消费者组中只有一个消费者会收到消息。