- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
根据我在互联网上读到的内容,使用 Spring @KafkaListener 注释的方法将默认在 5 秒内提交偏移量。假设 5 秒后,偏移量已提交,但处理仍在继续,并且在由于某些问题而导致消费者崩溃之间,在这种情况下,在重新平衡之后,该分区将被分配给其他消费者,并且它将从下一条消息开始处理,因为上一条消息消息偏移已提交。这将导致消息丢失。
那么,处理完成后我是否需要手动提交偏移量?推荐的方法是什么?
同样,如果处理完成,并且在提交之前,消费者崩溃了,那么如何避免该消息在这种情况下重复。
请建议避免消息丢失和重复的方法。我正在使用 Spring KafkaListener使用默认配置。
最佳答案
与往常一样,这取决于您的用例以及您希望如何处理处理过程中的问题。自动提交的使用将改变应用程序的交付语义。
启用自动提交更多的是“最多一次”语义,因为您将在实际处理数据之前读取数据并提交它。如果您的处理失败,消息已经提交,您将不会再次读取它,因此您的应用程序将“丢失”该消息(更准确地说,对于您的特定消费者组)。
禁用自动提交更像是“至少一次”语义,因为您仅在处理数据后才提交数据。假设您从该主题中获取 100 条消息。其中 50 条消息已成功处理,而您的应用程序在处理第 51 条消息期间失败。现在,由于您禁用了自动提交,并且在处理结束时仅提交所有消息或不提交任何消息,因此下次应用程序再次读取相同的 100 条消息时,您尚未提交这 100 条消息中的任何一条。但是,您现在已经创建了 50 条重复消息,因为它们之前已成功处理。
总而言之,您需要弄清楚您的用例是否可以处理数据丢失或处理重复项。如果您的应用程序是幂等的,则可以确保处理重复项。
您询问的是“如何防止数据丢失和重复”,这意味着您指的是“exactly-once-scemantics”。这是分布式流系统中的一个大主题,您可以检查 spring-kafka 文档是否支持哪种配置并取决于应用程序的输出操作。
另请查看 GaryRussell 对此的评论 post :
"the Spring team does not recommend using auto commit; the listener container Ackmode (BATCH or RECORD) will commit the offsets in a deterministic manner; recent versions of the framework disable auto commit (unless specifically enabled)"
关于spring-boot - Spring @Kafkalistener 自动提交偏移量或手动 : Which is recommended?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64060416/
我是一名优秀的程序员,十分优秀!