apache-kafka - Kafka 消费者组中只有一个消费者获取消息

Question

在我的设置中，我有一个包含三个进程(一个服务的 3 个实例)的消费者组，可以从 Kafka 消费。我发现很高兴的是，第一个节点正在接收所有流量。如果一个节点被手动杀死，下一个节点会接收所有 Kafka 流量，但最后一个剩余的节点处于空闲状态。

所需的行为是所有消息在消费者组内的所有实例中均匀分布，这是我认为应该发生的。据我了解，Kafka 的工作方式是它应该在消费者组的所有成员之间平均分配消息。我的理解正确吗？我一直在试图确定为什么只有一个消费者群体的成员在没有运气的情况下获得了所有流量。有什么想法/建议吗？

Answer 1

您需要确保该主题具有多个分区才能并行使用它。消费者组中的消费者从代理获得一个或多个分配的分区，但除非消费者离线，否则永远不会在同一组内的多个消费者之间共享单个分区。一个主题的分区数等于一个消费者组中可以从一个主题提供信息的最大消费者数。