apache-kafka - 如何将单节点Kafka扩展到多节点集群？

Question

我将安装 Kafka 用于公司消息传递。计划首先将kafka安装在一台大型机器上，然后根据需要将其扩展到4-5台机器(一个集群)。

我对kafka的经验很少。想问是否可以通过更改broker配置中的参数并在新加入的机器上安装zookeeper来进行扩展。

或者我怎样才能以最简单的方式大致做到这一点？更具体地说，CDH 中的 Cloudera Kafka。

谢谢

Answer 1

要扩展 Kafka，如果需要，您必须使用 kafka-topics.sh 向主题添加更多分区。然后使用 kafka-reassign-partitions.sh 将分区重新分配给新代理。

重新分配实用程序将自动复制和分派(dispatch)您的数据。您可以对整个主题或一组选定的分区执行此操作。

完整的文档是 here 。请看第 6 节。