apache-kafka - 什么是 kafka-topics.sh --describe 向我展示？

Question

你能解释一下 kafka-topics.sh --describe 显示的内容吗？我我正在关注一个教程视频，并且还在阅读 Apache 文档，但我需要更清楚地了解我在此图中的以下列中查看的内容。

Leader:这是指向第3个broker还是指向第3个分区[2]？

Replicas:这是指向 brokers:partitions 吗？

Isr:这是指向 brokers:partitions 吗？

如果有人解释 A、B、C、D 列是什么，我将不胜感激。

Answer 1

主题名称:“install_test2”

4个partition(partition 0,partition 1,partition 2,partition 3)你这个topic的replication factor是2。也就是说你topic中的数据会被存储(replicated)在2个冗余的经纪人。在 Kafka 中，每个分区都有一个领导者，来自生产者和消费者的所有请求都发送给领导者。

Leader 列(图片中的 B 列) 显示每个分区的领导者的代理 ID。 (Kafka 在 broker 之间平均分配 partition 领导权以实现负载均衡)

Replicas 列(图片中的 C 列) 显示了为每个分区复制数据的代理的 ID。第一个 id 代表首选领导者。这意味着Kafka会尝试让这个broker成为partition的leader。

ISR(图片中的 D 列) 表示同步副本。在 Kafka 中，当消息被发送到主题分区(首先接收到消息并将其存储在领导者中)并且如果您的复制因子大于 1，则副本代理发送获取请求，并且此数据被复制到其他代理( s)。如果跟随者(副本)代理与领导者相差不远(如下所述)，则它是同步的。如果分区领导失败，Kafka 会选择一个 ISR 作为故障转移的新领导。

来自 Kafka 文档:

Configuration parameter replica.lag.time.max.ms now refers not just to the time passed since last fetch request from replica, but also to time since the replica last caught up. Replicas that are still fetching messages from leaders but did not catch up to the latest messages in replica.lag.time.max.ms will be considered out of sync.