gpt4 book ai didi

spring-boot - Spring @Kafkalistener 自动提交偏移量或手动 : Which is recommended?

转载 作者:行者123 更新时间:2023-12-02 02:37:44 27 4
gpt4 key购买 nike

根据我在互联网上读到的内容,使用 Spring @KafkaListener 注释的方法将默认在 5 秒内提交偏移量。假设 5 秒后,偏移量已提交,但处理仍在继续,并且在由于某些问题而导致消费者崩溃之间,在这种情况下,在重新平衡之后,该分区将被分配给其他消费者,并且它将从下一条消息开始处理,因为上一条消息消息偏移已提交。这将导致消息丢失。

那么,处理完成后我是否需要手动提交偏移量?推荐的方法是什么?

同样,如果处理完成,并且在提交之前,消费者崩溃了,那么如何避免该消息在这种情况下重复。

请建议避免消息丢失和重复的方法。我正在使用 Spring KafkaListener使用默认配置。

最佳答案

与往常一样,这取决于您的用例以及您希望如何处理处理过程中的问题。自动提交的使用将改变应用程序的交付语义。

启用自动提交更多的是“最多一次”语义,因为您将在实际处理数据之前读取数据并提交它。如果您的处理失败,消息已经提交,您将不会再次读取它,因此您的应用程序将“丢失”该消息(更准确地说,对于您的特定消费者组)。

禁用自动提交更像是“至少一次”语义,因为您仅在处理数据后才提交数据。假设您从该主题中获取 100 条消息。其中 50 条消息已成功处理,而您的应用程序在处理第 51 条消息期间失败。现在,由于您禁用了自动提交,并且在处理结束时仅提交所有消息或不提交任何消息,因此下次应用程序再次读取相同的 100 条消息时,您尚未提交这 100 条消息中的任何一条。但是,您现在已经创建了 50 条重复消息,因为它们之前已成功处理。

总而言之,您需要弄清楚您的用例是否可以处理数据丢失或处理重复项。如果您的应用程序是幂等的,则可以确保处理重复项。

您询问的是“如何防止数据丢失和重复”,这意味着您指的是“exactly-once-scemantics”。这是分布式流系统中的一个大主题,您可以检查 spring-kafka 文档是否支持哪种配置并取决于应用程序的输出操作。

另请查看 GaryRussell 对此的评论 post :

"the Spring team does not recommend using auto commit; the listener container Ackmode (BATCH or RECORD) will commit the offsets in a deterministic manner; recent versions of the framework disable auto commit (unless specifically enabled)"

关于spring-boot - Spring @Kafkalistener 自动提交偏移量或手动 : Which is recommended?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64060416/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com