apache-kafka - 每个主题级别的 Kafka 配置 replica.fetch.max.bytes

Question

我想将 Kafka 集群设置为仅允许针对特定主题的大消息。来自 docs我看到如果我想在整个集群级别执行此操作，我可以通过设置 message.max.bytes 来实现。允许代理和 replica.fetch.max.bytes 上的大量数据允许复制它，但我的理解是这会增加集群中所有主题的内存使用量，而不仅仅是我知道可以接收大消息的主题。还有一个主题级别的设置max.message.bytes控制消息的最大大小，但我没有看到控制复制操作的最大数据大小的主题级别设置。这些密切相关的设置之一在主题级别无法配置，这似乎很奇怪；也许我错过了这样的设置，或者有另一种方法来实现这些目标？

Answer 1

replica.fetch.max.bytes只能在代理级别设置。但是，您可以设置 max.partition.fetch.bytes在消费者方面:

The maximum amount of data per-partition the server will return. Records are fetched in batches by the consumer. If the first record batch in the first non-empty partition of the fetch is larger than this limit, the batch will still be returned to ensure that the consumer can make progress. The maximum record batch size accepted by the broker is defined via message.max.bytes (broker config) or max.message.bytes (topic config). See fetch.max.bytes for limiting the consumer request size.

请注意，这是每个分区的配置，这意味着如果您将其设置为较大的数字，则在您也有很多分区的情况下会消耗大量内存。