spring-boot - Spring @Kafkalistener 自动提交偏移量或手动 : Which is recommended?

Question

根据我在互联网上读到的内容，使用 Spring @KafkaListener 注释的方法将默认在 5 秒内提交偏移量。假设 5 秒后，偏移量已提交，但处理仍在继续，并且在由于某些问题而导致消费者崩溃之间，在这种情况下，在重新平衡之后，该分区将被分配给其他消费者，并且它将从下一条消息开始处理，因为上一条消息消息偏移已提交。这将导致消息丢失。

那么，处理完成后我是否需要手动提交偏移量？推荐的方法是什么？

同样，如果处理完成，并且在提交之前，消费者崩溃了，那么如何避免该消息在这种情况下重复。

请建议避免消息丢失和重复的方法。我正在使用 Spring KafkaListener使用默认配置。

Answer 1

与往常一样，这取决于您的用例以及您希望如何处理处理过程中的问题。自动提交的使用将改变应用程序的交付语义。

启用自动提交更多的是“最多一次”语义，因为您将在实际处理数据之前读取数据并提交它。如果您的处理失败，消息已经提交，您将不会再次读取它，因此您的应用程序将“丢失”该消息(更准确地说，对于您的特定消费者组)。

禁用自动提交更像是“至少一次”语义，因为您仅在处理数据后才提交数据。假设您从该主题中获取 100 条消息。其中 50 条消息已成功处理，而您的应用程序在处理第 51 条消息期间失败。现在，由于您禁用了自动提交，并且在处理结束时仅提交所有消息或不提交任何消息，因此下次应用程序再次读取相同的 100 条消息时，您尚未提交这 100 条消息中的任何一条。但是，您现在已经创建了 50 条重复消息，因为它们之前已成功处理。

总而言之，您需要弄清楚您的用例是否可以处理数据丢失或处理重复项。如果您的应用程序是幂等的，则可以确保处理重复项。

您询问的是“如何防止数据丢失和重复”，这意味着您指的是“exactly-once-scemantics”。这是分布式流系统中的一个大主题，您可以检查 spring-kafka 文档是否支持哪种配置并取决于应用程序的输出操作。

另请查看 GaryRussell 对此的评论 post :

"the Spring team does not recommend using auto commit; the listener container Ackmode (BATCH or RECORD) will commit the offsets in a deterministic manner; recent versions of the framework disable auto commit (unless specifically enabled)"