apache-kafka - 自动更改kafka主题分区leader

Question

我的 Kafka 集群有问题。
我有 3 个代理，因此当我停止代理 1 时(例如)，具有领导者 1 的每个主题分区都会在副本配置中使用第二个代理更改其领导者。
所以这是良好的行为，它工作正常。

但是当我重新启动代理 1 时，我需要执行:
./kafka-preferred-replica-election.sh --zookeeper myHost
因为当前的领导者是另一个副本。

所以我的问题是:
有没有办法配置 Kafka 自动执行？

谢谢

Answer 1

我假设您的默认(当所有经纪人都在运行时)分配是平衡的，并且首选的领导者分布均匀。

是的，当代理重新启动时，Kafka 可以自动重新选举所有分区的首选领导者。这实际上是默认启用的，参见 auto.leader.rebalance.enable .

重新启动代理后，Kafka 最多可以占用 leader.imbalance.check.interval.seconds触发连任。这默认为 5 分钟。所以也许你只是等待的时间不够长!

还有leader.imbalance.per.broker.percentage它定义了允许的非首选领导者的百分比。默认为 10%。

有关这些配置的完整详细信息，请参阅 broker config section在卡夫卡的网站上。