Apache-Kafka，batch.size 与 buffer.memory

Question

我试图找出 Kafka Producer 中设置 batch.size 和 buffer.memory 之间的区别。

据我了解 batch.size: 这是可以发送的批次的最大大小。

该文档将 buffer.memory 描述为:生产者可用于缓冲等待发送的记录的内存字节。

我不明白这两者之间的区别。有人可以解释一下吗？

谢谢

Answer 1

在我看来，

批量大小 :单个请求可以发送的最大数据量。如果 batch.size 为 (32*1024)，则意味着可以在单个请求中发送 32 KB。

缓冲区内存 :如果 Kafka Producer 无法将消息(批次)发送到 Kafka 代理(例如代理已关闭)。它开始在缓冲存储器(默认为 32 MB)中累积消息批次。一旦缓冲区已满，它将等待“ max.block.ms ”(默认60,000ms)以便可以清除缓冲区。然后是抛出异常。