java - 如何管理 Kafka 偏移重置以实现并行消费？

Question

我想更好地了解Kafka消息重试过程。我听说可以使用 2 个选项来解决消费消息处理失败的问题:

1. SeekToCurrentErrorHandler(偏移重置)
2. 向死信队列 (DLQ) 发布消息

第二个选项非常明确，如果消息处理失败，它会被简单地推送到错误队列中。我对第一个选项更好奇。

据我所知，第一个选项是使用最广泛的一个，但是当多个消费者同时消费来自同一主题的消息时，它是如何工作的呢？如果特定消息失败，消费者 ID 的偏移量将重置为消息的偏移量，这是否有效？同时成功处理的消息会发生什么/失败的消息之后会被重新处理吗？

您如何建议我处理消息重试？

Answer 1

每个分区只能被一个消费者消费。

当您有多个使用者时，您必须至少拥有该数量的分区。

为每个分区维护偏移量；错误处理程序将(可以)仅在分配给该使用者的分区上执行搜索。