apache-kafka - 如果您的消费者少于分区，会发生什么？

Question

如果您的消费者少于分区，这是否仅意味着您不会消费给定主题上的所有消息？

在云环境中，您打算如何跟踪正在运行的消费者数量以及指向给定主题的消费者数量#partition？

如果在给定的主题#partition 上有多个消费者怎么办？我猜消费者必须以某种方式跟踪它已经处理的消息，以防出现重复？

Answer 1

实际上，每个消费者都属于一个consumer group .当Kafka集群向一个消费者组发送数据时，一个分区的所有记录都会发送给该组中的一个消费者。

如果一个组中的分区比消费者多，那么一些消费者将消费来自多个分区的数据。如果组中的消费者多于分区，则某些消费者将无法获得数据。如果您向组中添加新的消费者实例，它们将接管旧成员的一些分区。如果您从组中删除一个消费者(或消费者死亡)，其分区将重新分配给其他成员。

现在让我们来看看你的问题:

If you have less consumers than partitions, does that simply mean you will not consume all the messages on a given topic?

不。同一消费者组中的一些消费者会消费来自多个分区的数据。

In a cloud environment, how are you suppose to keep track how many consumers are running and how many are pointing to a given topic#partition?

卡夫卡会照顾它。如果新的消费者加入这个组，或者老的消费者死亡，Kafka 会做 reblance。

What if you have multiple consumers on a given topic#partition?

您不能有多个消费者(在一个消费者组中)来使用来自单个分区的数据。但是，如果有多个消费者组，则每个消费者组中的一个(且只有一个)消费者可以使用同一个分区。