apache-kafka - Kafka 中的这个主题 "__consumer_offsets"是什么

Question

当我运行这个命令时，我得到了 2 个主题。我知道我创建了测试主题，但我看到了一个名为“__consumer_offsets”的附加主题。顾名思义就是和consumer offsets相关，但是具体怎么用呢？

$ bin/kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
测试

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181
Topic:__consumer_offsets        PartitionCount:50       ReplicationFactor:1     Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
        Topic: __consumer_offsets       Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: __consumer_offsets       Partition: 1    Leader: 0       Replicas: 0     Isr: 0
                      *
                      *
                      *
        Topic: __consumer_offsets       Partition: 48    Leader: 0       Replicas: 0     Isr: 0
        Topic: __consumer_offsets       Partition: 49    Leader: 0       Replicas: 0     Isr: 0

这发生在 Kafka 1.1.0 以及为什么有 50 个分区。也在寻找一种方法来禁用它，因为每次我尝试运行“描述”主题时，它首先打印 __consumer_offsets 的 50 个分区，然后打印我的主题。

Answer 1

在 Kafka 的初始版本中，偏移量由 zookeeper 管理，但随着时间的推移，Kafka 不断发展，引入了许多新功能。现在 Kafka 管理内部/系统级别主题中的偏移量，即 __consumer_offsets。

每当您创建一个主题而没有明确指定分区数时，Kafka 最终会默认为该主题创建 50 个分区。同样暗示主题__consumer_offsets。