exception - Kafka - "exactly once delivery"语义中的幂等生产者

Question

从 2017 年 6 月 28 日发布的 Kafka 最新版本 (0.11.0.0) 开始，kafka 团队提供了新功能以支持一次性交付。下载最新版本后，我尝试配置 Producer(通过 kafka-console- Producer.sh 脚本执行)，如 Producer configs 中所述。 :我设置了 enable.idempotence=true 和 transactional.id=0A0A。

问题是，当我启动生产者时，我收到一个 ConfigException ，指出 acks 必须设置为 all 或 - 1 (即使我在 Producer.properties 文件中设置它，并将其作为参数传递给控制台脚本)。

这可能是无法使用控制台脚本设置幂等性的根本原因吗？此外，有没有办法通过提供的控制台脚本进行原子事务生成消息？

详细信息:

• Implementation details and motivations
• Exactly once semantics

总的来说，所采用的解决方案基于两个主要概念:

• 幂等生产者由于在生产者配置中引入了事务 ID，因此只能写入一次特定消息在多个的情况下也保证原子性单个主题的分区)；
• 在消费者方面，通过 isolation.level=read_commissed 属性，我们现在只能在提交事务后才能读取消息。

Answer 1

控制台制作者设置自己的默认值。尝试添加 --request-required-acks "all" 或 --request-required-acks -1 将 ack 设置为 all 以代替默认值 1。