- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
根据我在互联网上读到的内容,使用 Spring @KafkaListener 注释的方法将默认在 5 秒内提交偏移量。假设 5 秒后,偏移量已提交,但处理仍在继续,并且在由于某些问题而导致消费者崩溃之间,在这种情况下,在重新平衡之后,该分区将被分配给其他消费者,并且它将从下一条消息开始处理,因为上一条消息消息偏移已提交。这将导致消息丢失。
那么,处理完成后我是否需要手动提交偏移量?推荐的方法是什么?
同样,如果处理完成,并且在提交之前,消费者崩溃了,那么如何避免该消息在这种情况下重复。
请建议避免消息丢失和重复的方法。我正在使用 Spring KafkaListener使用默认配置。
最佳答案
与往常一样,这取决于您的用例以及您希望如何处理处理过程中的问题。自动提交的使用将改变应用程序的交付语义。
启用自动提交更多的是“最多一次”语义,因为您将在实际处理数据之前读取数据并提交它。如果您的处理失败,消息已经提交,您将不会再次读取它,因此您的应用程序将“丢失”该消息(更准确地说,对于您的特定消费者组)。
禁用自动提交更像是“至少一次”语义,因为您仅在处理数据后才提交数据。假设您从该主题中获取 100 条消息。其中 50 条消息已成功处理,而您的应用程序在处理第 51 条消息期间失败。现在,由于您禁用了自动提交,并且在处理结束时仅提交所有消息或不提交任何消息,因此下次应用程序再次读取相同的 100 条消息时,您尚未提交这 100 条消息中的任何一条。但是,您现在已经创建了 50 条重复消息,因为它们之前已成功处理。
总而言之,您需要弄清楚您的用例是否可以处理数据丢失或处理重复项。如果您的应用程序是幂等的,则可以确保处理重复项。
您询问的是“如何防止数据丢失和重复”,这意味着您指的是“exactly-once-scemantics”。这是分布式流系统中的一个大主题,您可以检查 spring-kafka 文档是否支持哪种配置并取决于应用程序的输出操作。
另请查看 GaryRussell 对此的评论 post :
"the Spring team does not recommend using auto commit; the listener container Ackmode (BATCH or RECORD) will commit the offsets in a deterministic manner; recent versions of the framework disable auto commit (unless specifically enabled)"
关于spring-boot - Spring @Kafkalistener 自动提交偏移量或手动 : Which is recommended?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64060416/
我尝试阅读有关 Spring BOM、Spring Boot 和 Spring IO 的文档。 但是没有说明,我们应该如何一起使用它们? 在我的项目中,我们已经有了自己的 Parent POM ,所以
我正在开发的很酷的企业应用程序正在转向 Spring。这对所有团队来说都是非常酷和令人兴奋的练习,但也是一个巨大的压力源。我们所做的是逐渐将遗留组件移至 Spring 上下文。现在我们有一个 huuu
我正在尝试使用 @Scheduled 运行 Spring 批处理作业注释如下: @Scheduled(cron = "* * * * * ?") public void launchMessageDi
我对这两个概念有点困惑。阅读 Spring 文档,我发现,例如。 bean 工厂是 Spring 容器。我还读到“ApplicationContext 是 BeanFactory 的完整超集”。但两者
我们有一个使用 Spring BlazeDS 集成的应用程序。到目前为止,我们一直在使用 Spring 和 Flex,它运行良好。我们现在还需要添加一些 Spring MVC Controller 。
假设我有一个类(class) Person带属性name和 age ,它可以像这样用 Spring 配置: 我想要一个自定义的 Spring 模式元素,这很容易做到,允许我在我的 Sp
如何在 Java 中以编程方式使用 Spring Data 创建 MongoDB 复合索引? 使用 MongoTemplate 我可以创建一个这样的索引:mongoTemplate.indexOps(
我想使用 spring-complex-task 执行我的应用程序,并且我已经构建了复杂的 spring-batch Flow Jobs,它执行得非常好。 你能解释一下spring批处理流作业与spr
我实现了 spring-boot 应用程序,现在我想将它用作非 spring 应用程序的库。 如何初始化 lib 类,以便 Autowiring 的依赖项按预期工作?显然,如果我使用“new”创建类实
我刚开始学习 spring cloud security,我有一个基本问题。它与 Spring Security 有何不同?我们是否需要在 spring boot 上构建我们的应用程序才能使用 spr
有很多人建议我使用 Spring Boot 而不是 Spring 来开发 REST Web 服务。我想知道这两者到底有什么区别? 最佳答案 总之 Spring Boot 减少了编写大量配置和样板代码的
您能向我解释一下如何使用 Spring 正确构建 Web 应用程序吗?我知道 Spring 框架的最新版本是 4.0.0.RELEASE,但是 Spring Security 的最新版本是 3.2.0
我如何才能知道作为 Spring Boot 应用程序的一部分加载的所有 bean 的名称?我想在 main 方法中有一些代码来打印服务器启动后加载的 bean 的详细信息。 最佳答案 如spring-
我有一个使用 Spring 3.1 构建的 RESTful API,也使用 Spring Security。我有一个 Web 应用程序,也是一个 Spring 3.1 MVC 应用程序。我计划让移动客
升级到 Spring 5 后,我在 Spring Rabbit 和 Spring AMQP 中遇到错误。 两者现在都设置为 1.5.6.RELEASE 有谁知道哪些版本应该与 Spring 5 兼容?
我现在已经使用 Spring Framework 3.0.5 和 Spring Security 3.0.5 多次了。我知道Spring框架使用DI和AOP。我还知道 Spring Security
我收到错误 Unable to Location NamespaceHandler when using context:annotation-config running (java -jar) 由
在 Spring 应用程序中嵌入唯一版本号的策略是什么? 我有一个使用 Spring Boot 和 Spring Web 的应用程序。 它已经足够成熟,我想对其进行版本控制并在运行时看到它显示在屏幕上
我正在使用 spring data jpa 进行持久化。如果存在多个具有相同名称的实体,是否有一种方法可以将一个实体标记为默认值。类似@Primary注解的东西用来解决多个bean的依赖问题 @Ent
我阅读了 Spring 框架的 DAOSupport 类。但是我无法理解这些 DAOSuport 类的优点。在 DAOSupport 类中,我们调用 getXXXTemplate() 方法来获取特定的
我是一名优秀的程序员,十分优秀!