apache-kafka - kafka支持百万分区吗？

Question

如果一个主题有数百万个分区，我们会有什么问题吗？由于我们的业务需求，我们在考虑是否可以为kafka中的每个用户做一个分区。我们有数百万用户。任何见解将不胜感激!

Answer 1

是的，我认为如果您有数百万个分区，您最终会遇到问题，原因如下:

• (最重要的!!)客户来来去去，所以你会有不断更改分区数量或有大量未使用分区的需求(因为你无法减少主题内的分区数量) .

• 更多分区需要更多打开文件句柄:更多分区意味着磁盘上有更多目录和段文件。

• 更多分区可能会增加不可用性:计划中的故障一次将一个领导者从 Broker 上移开，每个分区的停机时间最短。在硬故障中，所有领导者都立即不可用。

• 更多分区可能会增加端到端延迟:要让消费者看到消息，必须提交消息。 Broker 使用单个线程从领导者复制数据，从而导致每个分区的开销。

• 更多的分区可能需要更多的客户端内存

Confluent 在 How to choose the number of topics/partitions in a Kafka cluster? 上的博客中提供了更多详细信息.

此外，根据 Confluent 的 Kafka 开发人员培训 Material ，建议:

"The current limits (2-4K Partitions/Broker, 100s K Partitions per cluster) are maximums. Most environments are well below these values (typically in the 1000-1500 range or less per Broker)."

这blog解释说“Apache Kafka 支持每个集群 200K 个分区”。

这可能会随着 Zookeeper 的更换而改变 KIP-500但是，再一次，看看上面的第一个要点仍然是一个不健康的软件设计。