apache-kafka - Kafka生产者如何进行批处理？

Question

假设我有两个经纪人。

我读到 KafkaProducer 创建了与代理数量相等的生产者线程。所以在这种情况下我将有两个内部线程。

假设我有 5 个主题，每秒只收到 200 条消息。 kafka是如何进行批处理的？

batch.size=30 条消息。 [topic1=5, topic2=10, topic3=3, topic4=10, topic5=2 messages] 这些是排名靠前的消息和相应的主题。

kafka是如何进行批处理的？

Answer 1

I read that KafkaProducer creates producer thread equal to number of brokers. So I will have two internal threads in this case.

不确定，您从哪里获得此信息，但它不正确。 KafkaProducer 确实有一个后台线程将数据异步写入代理。

批处理是如何发生的，很难详细预测。这取决于您的 batch.size(即最大值)。此外，还有一个 linger.ms 参数，它定义了在发送数据之前保留数据的时间(即使批处理未满)。

更详细地说，将与托管您写入的分区的所有代理建立开放的网络连接。此外，批处理是基于分区进行的——但是，多个批处理可以包含在对代理的单个请求中。