docker - 经纪人重新启动后，融合的卡夫卡消费者卡住了

Question

我正在使用 kafka_image=wurstmeister/kafka

zookeeper_version=3.4.14
kafka_version=2.12-2.4.0

C#客户端:Confluent kafka v1.2.0

我们是
使用 3 个代理，1 个 zookeeper 集群作为 pat 部署，我们使用
停止所有经纪人，动物园管理员，生产者，消费者并删除
kafka-log 文件，然后首先启动消费者将启动
经纪人和动物园管理员。在这个过程中一段时间​​消费者得到
卡住了，即使它活着也没有选择任何消息。如果我重新启动
消费者，它开始挑选

Answer 1

重新平衡可能是这种行为的原因。当一个消费者组开始rebalance时，这个组内的所有消费者都是撤销 并且在重新平衡期间，消费者无法提交偏移量或轮询数据，直到重新平衡完成并将分区分配给新消费者。

需要考虑的一些重要注意事项:

重新平衡超时等于 max.poll.interval.ms .因此，如果您的 max.poll.inteval.ms 由于长时间运行的进程而如此之高，那么重新平衡可能需要很长时间。

重新平衡的原因:

将新消费者加入消费群

彻底关闭消费者

将新分区添加到消费者组订阅的主题

当组协调器认为消费者已死亡时

到期 session.timeout.ms不发送心跳

在 max.poll.interval.ms 期间不调用 poll

重启后面临重新平衡的原因可能是 joinGroupRequests 消费者通过调用 poll 发送给组协调器。每个请求都会触发重新平衡。 (可能)然后你会得到很多重新平衡。为了克服这个问题，你可以增加 group.initial.rebalance.delay.ms .默认为 3 秒。

group.initial.rebalance.delay.ms: The amount of time the group coordinator will wait for more consumers to join a new group before performing the first rebalance. A longer delay means potentially fewer rebalances, but increases the time until processing begins.