apache-kafka - Kafka 无法将分区状态从 OnlinePartition 更改为 OnlinePartition

Question

我正在查看我们最近在 Kafka 上遇到的问题的日志，我们最终得到了完全偏移倒带。从日志看来，我们有 3 个副本中的两个同时退出，或者至少节点日志中的一个是这样说的。大约在那个时候，我看到以下日志消息以不同的分区名称重复多次:

ERROR [Controller id=0 epoch=71] Controller 0 epoch 71 failed to change state for partition PARTITION.NAME from OnlinePartition to 
OnlinePartition (state.change.logger) kafka.common.StateChangeFailedException: Failed to elect leader for partition PARTITION.NAME under strategy PreferredReplicaPartitionLeaderElectionStrategy
    at kafka.controller.PartitionStateMachine$$anonfun$doElectLeaderForPartitions$3.apply(PartitionStateMachine.scala:328)
    at ...

奇怪的是这部分说

from OnlinePartition to OnlinePartition

当我在谷歌上搜索这个时，我没有发现任何真正有用的东西。另一件事是，所有出现的东西似乎都很旧，并且指的是 Kafka 1.0 之前的版本。我们应该运行 1.1.0。

关于为什么会尝试将分区更改为它似乎已经处于的状态的任何想法？我想我可以理解这如何被视为失败，因为什么都不会改变，但总的来说似乎是荒谬的。

Answer 1

根据 Kafka Controller Internals当应选择新的分区领导者时，这是一个有效的状态转换页面:

Valid state transitions are:

. . .

OnlinePartition, OfflinePartition -> OnlinePartition

1. select new leader and isr for this partition and a set of replicas to receive the LeaderAndIsr request, and write leader and isr to ZK

   ...

   c. PreferredReplicaPartitionLeaderSelector: new leader = first assigned replica (if in isr); new isr = current isr; receiving replicas = assigned replicas

   ...

2. send LeaderAndIsr request to every receiving replica and UpdateMetadata request to every live broker

编辑

关于重置偏移量，您能否检查一下 KAFKA-6189适用于您的情况。如果没有，请分享您的集群、主题和消费者组的配置详细信息。