java - 批量发布Kafka对象

Question

我正在使用 KafkaProducer.send() 方法将记录发布到 Kafka。这是一个异步方法。我的应用程序正在向 Kafka 发布大约 20k 条记录。很多时候，在成功发送大约 10k 条记录后，我会收到超时异常。我增加了batch.size和linger.ms，这减少了问题，但有时我仍然会遇到超时异常。有没有办法一次只发送 10k 条记录，等待它们完成，然后发送下一批？我不想通过使用 send.get() 使其同步，因为这会使其非常慢。这是我遇到的异常。

Error publishing object on partition 0 org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s)

Answer 1

您是否尝试将 retries=3 设置为生产者配置？
也许在记录过期的情况下，您不应该增加batch.size，而应该减少它。