apache-kafka - Kafka - 该服务器不是该主题分区的领导者

Question

我有两个代理 kafka 0.10.2.0 集群。复制因子是 2。我正在针对这个 Kafka 运行 1.0.0 kafka 流应用程序。在我的 kafka 流应用程序中，生产者配置有 retries = 10 and retry.backoff.ms = 100
运行几分钟后，我在 Kakfa server.log 中观察到以下日志。由于这个 Kafka 流应用程序抛出“NOT_LEADER_FOR_PARTITION”异常。

可能的原因是什么？请帮帮我。

[2017-12-12 10:26:02,583] ERROR [ReplicaFetcherThread-0-1], Error for partition [__consumer_offsets,22] to broker 1:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)

Answer 1

每个主题由一个或多个 Broker 提供服务——一个是领导者，其余的经纪人是追随者。

生产者需要向领导者代理发送新消息，后者在内部将数据复制到所有追随者。

我假设，你的生产者客户端没有连接到正确的 Broker，它连接到一个跟随者而不是领导者，并且这个跟随者拒绝你的发送请求。

尝试运行 ./kafka-topics.sh --zookeeper localhost:2181 --topic your_topic --describe

Topic:your_topic    PartitionCount:3    ReplicationFactor:1 Configs:retention.ms=14400000
Topic: your_topic   Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: your_topic   Partition: 1    Leader: 0   Replicas: 0 Isr: 0
Topic: your_topic   Partition: 2    Leader: 1   Replicas: 1 Isr: 1

在这个例子中你可以看到 your_topic有 3 个分区，这意味着所有 3 个经纪人都是该主题的领导者，每个都在不同的分区上，s.t broker 2是 partition 0 的领导者和 broker 0和 broker 1关注者是 partition 0 .