apache-kafka - 卡夫卡 : Is our number of partitions insane?

Question

我们有一个 3 主机的 Kafka 集群。我们有 136 个主题，每个主题有 100 个分区，复制因子为 3。这使得我们的集群中有 13,600 个分区。
这是我们主题的合理配置吗？

Answer 1

太多了。您应该问问自己是否有(或计划很快拥有)足够的消费者实例来需要这么多分区。那么，如果您确实计划拥有 13k 个消费者实例，那么您将在什么样的硬件上运行这些代理，以便它们能够为这么多消费者提供服务？这甚至是在您考虑 1.1 之前的许多分区的额外影响之前 https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/

这在我看来 100 是一个整数，似乎是 future 的证明。我建议每个主题从一个低得多的数字开始(比如 2 或 10)，看看你是否真的遇到了需要更多分区的规模问题，然后再尝试跳转到专家模式。您以后可以随时添加更多分区。