apache-kafka - kafka集群扩容通用步骤

Question

我们计划将集群从 2 个节点扩展到 8 个节点。分区重新分配工具可以选择移动主题或分区。

对于分区的重新分配，我计划遵循以下步骤。

无论添加多少个节点，如果我在 topic-to-move.json 中给出所有主题，在下面的命令中给出所有代理，那么它将在节点之间平均分配分区，对吗？

 bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3,4,5,6,7" --generate

在此之后我打算应用 json

--execute --reassignment-json-file generated-json file

这会引起什么问题吗？

这一步看起来比较笼统，但为什么没有这样记录呢？

Answer 1

有几点需要注意:

1. 均匀分布分区不一定均匀分布数据。有些分区比其他分区包含更多数据，因此您需要查看每个分区中有多少数据，以制定计划将数据均匀分布在代理之间。如果您有单个分区主题或不均衡的键，这一点尤其正确。
2. “了解机架”。如果 8 个代理位于 3 个 Amazon 可用性区域或位于数据中心的两个不同电源或网络交换机上，那么请注意不要将领导者及其所有副本分配到同一个机架 ID 中，否则您将失去高可用性。
3. 考虑使用复制配额。当您在代理之间移动大量数据时，它可能会占用活跃的生产者和消费者的网络带宽。 Kafka 0.10+ 添加了单独的复制配额(带宽限制)，以便您可以减少重新分配期间使用的带宽，因此不会对您的实时客户端流量产生负面影响。只是不要限制得太低，否则您的重新分配可能永远赶不上生产者的新变化。
4. 您可能需要考虑使用第三方工具来帮助自动制定重新分配计划。 Yahoo! 的 Kafka Manager 具有重新分配功能(参见 https://github.com/yahoo/kafka-manager/blob/master/README.md)，Confluent 的 Auto Rebalancer 有 30 天的免费试用期，允许扩展和减少具有机架感知和节流重新分配的代理节点(参见 http://docs.confluent.io/current/kafka/rebalancer/rebalancer.html)