apache-kafka - Kafka Producer 保证

Question

我正在使用 Kafka Producer，我的应用程序将具有相同键的各个 ProducerRecords 发送到单个分区中，然后这些 ProducerRecords 在发送到代理之前进行批处理(使用 batch.size 和 linger.ms 参数)。我有 enable.idempotence=true 和 acks=all。
如果一批中间的一条记录写入失败，例如主机崩溃或网络故障或磁盘故障或该记录未能被最小副本确认，Kafka是否保证所有后续记录也不会被写？或者是否有可能丢失批次中间的记录？

Answer 1

If one record in the middle of a batch fails to be written, for example if a host crashes or a network failure or disk failure occurs or the record failed to be acked by the minimum replicas, does Kafka guarantee that all subsequent records will also not be written?

是的，如果批次中的任何消息失败，则同一批次中的所有消息都失败。因此，批处理中的任何消息都不会写入代理的磁盘。

Or is there a possibility that a record in the middle of a batch could be missing?

不，该批次的所有消息或不写入任何消息到代理。
这是通过生产者客户端线程和本地缓冲区之间的分离来实现的，该缓冲区在将数据物理发送到代理之前对数据进行排队和批处理。