- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
假设我有一个像这样定义的 ReactiveMongoRepository
:
@Repository
interface MyRepo extends ReactiveMongoRepository<MyDTO, String> {}
鉴于存储库包含大量 MyData
文档(至少数十万个),并且您执行一个简单的“findAll()”,然后进行删除:
myRepo.findAll()
.doOnNext( myDto -> {
System.out.println(myDto.message);
})
.flatMap( myDto -> {
myRepo.deleteById(myDto.id);
})
这将大约每月执行一次。
在传输大量数据时,像这样使用 Spring Data/MongoDB 安全吗?或者是否建议使用某种批处理或分页以避免光标问题等?
最佳答案
一般答案是这取决于,但在你的具体情况下,我认为是否定的,至少不是以你提出的方式
首先,我猜想对于所有集合来说,查找所有操作没有什么意义。我认为找到一个需要处理数十万个用例的用例几乎是不可能的,假设您已经实现了一个数据摄取管道,那么您已经处理了无限的数据流,但是对于这个用例,我可以建议一个更合适的用例例如,使用 Spring Cloud Stream 与 kafka 进行流式传输的架构。
问题不在于处理许多数据的可能性,因为 mongo react 驱动器性能非常好,并且调整背压机制,您应该保存服务器,但重复使用流中的查找全部,如此大的数据几乎不适用,可能如果您应该这样做处理数据流,使用 Spring Cloud Stream 的消息传递中间件可能是最好的选择,想象一下,您触发了一个发现一切正常的服务器,而 Mogno 可能会很好,但您的用户将在请求完成之前花费几个小时,否则如果使用如前所述,案例是一个在线流程,可以处理无限数据流,Spring Cloud Stream 可能是最好的选择
更新
考虑到应该每月运行一次的批处理的用例,我可以说音乐变化很大。
阅读 Spring data reactive mongo 的代码我看到:
@NoRepositoryBean
public interface ReactiveMongoRepository<T, ID> extends ReactiveSortingRepository<T, ID>, ReactiveQueryByExampleExecutor<T> {
....
}
而不是
@NoRepositoryBean
public interface MongoRepository<T, ID> extends PagingAndSortingRepository<T, ID>, QueryByExampleExecutor<T> {
...
}
这里需要注意的重点是,响应式(Reactive)版本的存储库不具备分页功能,实际上基础接口(interface)的名称中不包含 Paging 一词,这里的重点是技术的种类。
在阻塞 io 中,分页对于每个请求一个线程的模型是必要的,因此阻塞模式对于数据库应用程序来说是危险的,因此繁忙的连接和所有查询的客户端对于超时、负载等都是危险的并且将查询拆分在页面中可以帮助不给系统带来太大压力。但是在无阻塞io中,行为是不同的,您附加到数据流,驱动程序是无阻塞驱动程序,您不使用经典的mongo驱动程序,spring data使用针对此作业优化的特定响应式(Reactive)mongo驱动程序,并且它基于事件循环模型。
说这里的关键点是,对于离线专业使用 io 密集型模型可能不是那么有用而不是安全,我的意思是使用响应式(Reactive)模型对于主要是 io 绑定(bind)且流量高的软件很有用,该模型支持高并发。但是,如果您的用例是每月一次的干净集合,我想使用响应式(Reactive)编程可能是安全的,因为这被认为是支持 io 密集型用例,但在这种情况下,带有分页的经典批量阻塞 io 模型是一种更合适的方法。关键点是我认为驱动程序在高流用例中管理大量数据应该是安全的,但对于批处理用例使用这种方法是没有用的
希望对你有帮助
关于Spring Data MongoDB Reactive - 处理大量文档的 findAll?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54368627/
我尝试阅读有关 Spring BOM、Spring Boot 和 Spring IO 的文档。 但是没有说明,我们应该如何一起使用它们? 在我的项目中,我们已经有了自己的 Parent POM ,所以
我正在开发的很酷的企业应用程序正在转向 Spring。这对所有团队来说都是非常酷和令人兴奋的练习,但也是一个巨大的压力源。我们所做的是逐渐将遗留组件移至 Spring 上下文。现在我们有一个 huuu
我正在尝试使用 @Scheduled 运行 Spring 批处理作业注释如下: @Scheduled(cron = "* * * * * ?") public void launchMessageDi
我对这两个概念有点困惑。阅读 Spring 文档,我发现,例如。 bean 工厂是 Spring 容器。我还读到“ApplicationContext 是 BeanFactory 的完整超集”。但两者
我们有一个使用 Spring BlazeDS 集成的应用程序。到目前为止,我们一直在使用 Spring 和 Flex,它运行良好。我们现在还需要添加一些 Spring MVC Controller 。
假设我有一个类(class) Person带属性name和 age ,它可以像这样用 Spring 配置: 我想要一个自定义的 Spring 模式元素,这很容易做到,允许我在我的 Sp
如何在 Java 中以编程方式使用 Spring Data 创建 MongoDB 复合索引? 使用 MongoTemplate 我可以创建一个这样的索引:mongoTemplate.indexOps(
我想使用 spring-complex-task 执行我的应用程序,并且我已经构建了复杂的 spring-batch Flow Jobs,它执行得非常好。 你能解释一下spring批处理流作业与spr
我实现了 spring-boot 应用程序,现在我想将它用作非 spring 应用程序的库。 如何初始化 lib 类,以便 Autowiring 的依赖项按预期工作?显然,如果我使用“new”创建类实
我刚开始学习 spring cloud security,我有一个基本问题。它与 Spring Security 有何不同?我们是否需要在 spring boot 上构建我们的应用程序才能使用 spr
有很多人建议我使用 Spring Boot 而不是 Spring 来开发 REST Web 服务。我想知道这两者到底有什么区别? 最佳答案 总之 Spring Boot 减少了编写大量配置和样板代码的
您能向我解释一下如何使用 Spring 正确构建 Web 应用程序吗?我知道 Spring 框架的最新版本是 4.0.0.RELEASE,但是 Spring Security 的最新版本是 3.2.0
我如何才能知道作为 Spring Boot 应用程序的一部分加载的所有 bean 的名称?我想在 main 方法中有一些代码来打印服务器启动后加载的 bean 的详细信息。 最佳答案 如spring-
我有一个使用 Spring 3.1 构建的 RESTful API,也使用 Spring Security。我有一个 Web 应用程序,也是一个 Spring 3.1 MVC 应用程序。我计划让移动客
升级到 Spring 5 后,我在 Spring Rabbit 和 Spring AMQP 中遇到错误。 两者现在都设置为 1.5.6.RELEASE 有谁知道哪些版本应该与 Spring 5 兼容?
我现在已经使用 Spring Framework 3.0.5 和 Spring Security 3.0.5 多次了。我知道Spring框架使用DI和AOP。我还知道 Spring Security
我收到错误 Unable to Location NamespaceHandler when using context:annotation-config running (java -jar) 由
在 Spring 应用程序中嵌入唯一版本号的策略是什么? 我有一个使用 Spring Boot 和 Spring Web 的应用程序。 它已经足够成熟,我想对其进行版本控制并在运行时看到它显示在屏幕上
我正在使用 spring data jpa 进行持久化。如果存在多个具有相同名称的实体,是否有一种方法可以将一个实体标记为默认值。类似@Primary注解的东西用来解决多个bean的依赖问题 @Ent
我阅读了 Spring 框架的 DAOSupport 类。但是我无法理解这些 DAOSuport 类的优点。在 DAOSupport 类中,我们调用 getXXXTemplate() 方法来获取特定的
我是一名优秀的程序员,十分优秀!