apache-kafka - Kafka 分区的大小和写入没有可用磁盘空间的主题

Question

我开始学习 Kafka 用于企业解决方案。
在我的阅读过程中，我想到了一些问题:

主题上的所有分区大小相同吗？

如果在主题上发送 Kafka 消息并且主题过载会发生什么。没有关于该主题的任何新消息的内存？

Answer 1

Are all the partitions on a topic of the same size?

不，它们通常大小不同。主要取决于您如何跨分区分发消息。如果您在消息中使用 key ，它们将被散列并用于分区您的数据。如果消息中没有键，数据将在分区之间循环分配。
此外，它还取决于生产者在将消息发送到代理之前将多少消息包装到一个批次中以及您正在应用哪种压缩类型。
但是，您可以说 TopicPartition 的所有副本一同步就具有相同的大小。

What will happen if a Kafka message is sent on a topic and the topic is overloaded. There is no memory for any new messages on the topic?

主题本身不能重载，而是整个 Kafka 代理。如果代理没有可用磁盘空间，它将自行关闭，并且在这种情况下，如果领导者在该代理上，您将无法将更多数据写入 TopicPartition。但是，如果只有一个代理出现故障并且您在主题中配置了多个复制，这些副本将接管另一个代理。
为了确保这种情况永远不会发生，如果您设置了 cleanup.policy，您可以应用 Kafka 中可用的基于卷的保留策略。至 delete并设置 retention.bytes这样，主题/副本的数量就不会超过您的存储限制。