apache-kafka - 添加新分区 Kafka 0.8.1.1

Question

对于特定主题，我们希望每个代理有一个分区。我们的想法是为了扩大规模，我们不断增加经纪人。但是，当我测试如何添加新分区时，它并没有按我预期的方式工作。比如我有3个券商:2064029428、2064029280、2064028458，我新建一个topic:

/opt/kafka/bin/kafka-topics.sh --create --zookeeper zk.net:2181/stream --topic test --partitions 2 --replication-factor 1

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk.net:2181/stream --topic test
Topic:test  PartitionCount:2    ReplicationFactor:1 Configs:
Topic: test Partition: 0    Leader: 2064029428  Replicas: 2064029428    Isr: 2064029428
Topic: test Partition: 1    Leader: 2064028458  Replicas: 2064028458    Isr: 2064028458

然后我更改主题以添加另一个分区。

/opt/kafka/bin/kafka-topics.sh --alter --zookeeper zk.net:2181/stream --topic test --partitions 3

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk.net:2181/stream --topic test
Topic:test  PartitionCount:3    ReplicationFactor:1 Configs:
Topic: test Partition: 0    Leader: 2064029428  Replicas: 2064029428    Isr: 2064029428
Topic: test Partition: 1    Leader: 2064028458  Replicas: 2064028458    Isr: 2064028458
Topic: test Partition: 2    Leader: 2064029428  Replicas: 2064029428    Isr: 2064029428

我原以为新分区是在代理 2064029280 上创建的，因为它目前没有分区。相反，我在同一个代理 2064029428 上得到两个分区。这是预期的吗？有没有办法控制添加新分区的位置？我尝试了 --replica-assignment 选项，它在创建主题时有效，但在更改主题时不起作用。

Answer 1

如kafka doc中所述，目前您必须手动触发重新分配。

In 0.8.1, the partition reassignment tool does not have the capability to automatically study the data distribution in a Kafka cluster and move partitions around to attain an even load distribution. As such, the admin has to figure out which topics or partitions should be moved around.

简而言之，您必须将 bin/kafka-reassign-partitions.sh 工具与手动制定的迁移计划结合使用。

参见 guide on manual reassignment了解更多。