apache-kafka - 这可能吗？生产者batch.size * max.request.size > broker max.message.bytes

Question

平均消息大小较小，但大小各不相同。

平均消息大小:1KBytes

1MBytes 任意速率的消息收入。/所以，生产者的 max.request.size = 1MBytes

经纪人的 max.message.bytes = 2MBytes

我的问题。

为避免产生尺寸误差，用户必须设置batch.size LTE 2?

或者生产者库自动决定批量大小以避免错误？ (即使用户设置大批量。大小)

谢谢。

Answer 1

以下是相关配置的定义

生产者配置

batch.size :生产者将尝试批处理记录，直到它在发送到 kafka 之前达到 batch.size (假设 batch.size 配置为优先于 linger.ms )。默认 - 16384 字节

max.request.size :请求的最大大小(以字节为单位)。此设置将限制生产者将在单个请求中发送的记录批次数，以避免发送大量请求。这实际上也是最大记录批量大小的上限。默认 - 1048576 字节

代理配置

message.max.bytes :Kafka 允许的最大记录批量大小。默认 - 1000012 字节

replica.fetch.max.bytes :这将允许代理中的副本在集群内发送消息并确保消息被正确复制。

回答您的问题

为避免生产者发送错误，您无需将批量大小设置为 2MB，因为这会延迟小尺寸消息的传输。您可以根据平均消息大小并根据您要批处理的大小来保留 batch.size

如果您不指定批处理大小，它将采用默认值，即
16384 字节

所以基本上你必须配置生产者 'max.request.size'>=2MB 和代理 'message.max.bytes' 和 'replica.fetch.max.bytes' >=2MB。