apache-kafka - kafka分区重新平衡(分配)花费太多时间

Question

我们正在使用具有 3 个服务器的 kafka 集群，它们都有 zookeeper。我们有 7 个主题，每个主题有 6 个分区。每个主题有 3 个 Java 消费者。当我启动消费者时，将分区分配给消费者几乎需要 3-5 分钟。当我们停止其中一个消费者并再次启动时，会遇到相同的行为。我怎样才能控制或减少它？

请注意，我使用的是 kafka 0.9，新消费者

我在每个 kafka 的 server.properties 中添加了以下属性

auto.leader.rebalance.enable=true
leader.imbalance.check.interval.seconds=10

如果您需要更多信息，请告诉我。谢谢

Answer 1

检查您的消费者为“session.timeout.ms”使用的值。

默认为 30 秒，协调不会触发重新平衡，直到这个时间过去。 30 秒无心跳。

降低此值的危险在于，如果您处理消息的时间太长，则可能会发生重新平衡，因为协调器会认为您的消费者已死。