apache-kafka - Kafka如何保证消费者不会两次阅读一条消息？

Question

Kafka 如何保证消费者不会将一条消息读取两次？

或者上述情况可能吗？同一条消息可以被单个或多个消费者读取两次吗？

Answer 1

导致Consumer消费重复消息的场景有很多

1. 生产者成功发布消息，但未能确认重试同一消息的原因
2. 生产者发布了一批消息，但部分发布消息失败。在这种情况下，它将重试并再次重新发送同一批处理，这将导致重复
3. 消费者从 Kafka 接收一批消息并手动提交其偏移量 (enable.auto.commit=false)。如果消费者在提交到 Kafka 之前失败了，下次消费者将再次消费相同的记录，在消费者端复制重复。

为了保证不使用重复消息，作业的执行和提交偏移量必须是原子的，以保证消费者端的一次性交付语义。您可以使用以下参数来实现一种语义。但请您理解，这会在性能上有所妥协。

1. 在生产者端启用幂等性，这将保证不会两次发布相同的消息enable.idempotence=true
2. 已定义事务 (isolation.level) 为 read_committedisolation.level=read_committed

In Kafka Stream above setting can be achieved by setting Exactly-Oncesemantic true to make it as unit transaction

幂等

幂等交付使生产者能够在单个生产者的生命周期内将消息准确地写入 Kafka 到主题的特定分区，而不会丢失数据和每个分区的顺序。

事务(isolation.level)

事务使我们能够以原子方式更新多个主题分区中的数据。交易中包含的所有记录都将成功保存，否则将不保存。它允许您在同一个事务中提交您的消费者偏移量以及您已处理的数据，从而允许端到端的完全一次语义。

生产者不会等待向 Kafka 写入消息，而生产者使用 beginTransaction、commitTransaction 和 abortTransaction(在失败的情况下)消费者使用隔离。级别 read_committed 或 read_uncommitted

• read_committed:消费者将始终只读取已提交的数据。
• read_uncommitted:按偏移顺序读取所有消息，无需等待用于提交的事务

更多详情请引用refrence