apache-kafka - Kafka 重新分配 __consumer_offsets 不正确？

Question

我对 __consumer_offsets 主题的 kafka-reassignment-paritions 如何工作感到困惑？

我从 1 个 zk 和 1 个 kafka 代理开始，创建一个复制=1、分区=1 的测试主题。消费和生产。工作正常。

我看到 __consumer_offsets 主题已创建。

现在我添加第二个代理，offsets.topic.replication.factor=2。我运行，

kafka-reassign-partitions --zookeeper zookeeper1:2181 --topics-to-move-json-file topics-to-move.json --broker-list "101,102"--generate

生成的重新分配看起来不正确。即使有 2 个实时经纪人，也只显示一个副本。

我希望为每个分区获得以下副本:[101, 102] 或 [201, 101]

{
  "version": 1,
  "partitions": [
    {
      "topic": "__consumer_offsets",
      "partition": 19,
      "replicas": [101]
    },
    {
      "topic": "__consumer_offsets",
      "partition": 30,
      "replicas": [102]
    },
    {
      "topic": "__consumer_offsets",
      "partition": 47,
      "replicas": [101]
    }, ...

感谢任何建议。

-Vms

Answer 1

如果您想增加主题的复制因子，请按照以下步骤操作:

1. 创建一个包含重新分配计划的 json 文件。在您的情况下，该文件可能如下所示:

   {"version":1, "partitions":[
     {"topic":"__consumer_offsets","partition":0,"replicas":[101,102]}, 
     {"topic":"__consumer_offsets","partition":1,"replicas":[102,101]},
     {"topic":"__consumer_offsets","partition":2,"replicas":[101,102]},
     {"topic":"__consumer_offsets","partition":3,"replicas":[102,101]},
     ...
     {"topic":"__consumer_offsets","partition":49,"replicas":[101,102]}
   ]}
   

2. 运行以下命令以增加此内部主题的 RF:

   bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file reassign.json --execute
   

然后运行 ​​kafka-topics.sh --describe 查看复制因子是否增加到 2。