Spring Data查询执行优化: Parallel Execution of Hibernate @Query Method in JpaRepository

Question

我有一个仪表板 View ，它需要来自整个数据库的表的小数据集。我优化了数据库查询(例如删除了子查询)。现在大约有 20 个查询被依次执行，并且从数据库中获取不同的数据集。大多数 HQL 查询都包含 GROUP BY 和 JOIN 子句。通过Spring REST接口(interface)，将结果返回给前端。

如何优化自定义查询的执行？我最初的想法是并行运行数据库查询。但我怎样才能做到这一点呢？经过一些研究后，我发现注释 @Async 使得并行运行方法成为可能。但这适用于 Hibernate 方法吗？是否总是为 JpaRepository 中用 @Query 注释的每个方法创建一个新的数据库 session ？运行数据库查询到底会对整体执行时间产生影响吗？

并行运行数据库调用的另一种方法是将仪表板调用拆分为多个单个 Ajax 调用(每个关注点都有自己的 Ajax 调用)。我不想这样做，因为每次打开仪表板(或者例如更改日期范围)时，都会进行另外 20 个 Ajax 调用来获取新数据。同样的问题仍然存在:并行运行 SQL 查询是否会影响数据库的执行时间？

我目前尚未向数据库添加其他索引。这将是接下来的事情，我肯定会做。不过，我对并行运行查询对性能的影响以及如何使用 Spring 以编程方式实现这一点感兴趣。

我的项目最初是由 jHipster 生成的(Spring Boot、MariaDB、AngularJS 等)

Answer 1

首先，并行运行这些 SQL 不会影响数据库，只会使页面加载速度更快，因此设计应重点关注这一点。

我发布这个答案是假设您已经确定无法组合这 20 个 SQL，因为数据不相关(没有联接、 View 等)。

我建议不要使用@Async，原因有两个。

原因 1 - 当您想要触发一堆任务并忘记时，或者当您知道所有任务何时完成时，异步任务非常有用。因此，您需要“等待”所有异步任务完成。你应该等多久？直到最慢的查询完成？

检查异步示例代码(来自指南 @ spring.io -- https://spring.io/guides/gs/async-method/ )

// Wait until they are all done
while (!(page1.isDone() && page2.isDone() && page3.isDone())) {
     Thread.sleep(10); //10-millisecond pause between each check
}

您的服务组件是否/应该等待 20 个异步 DAO 查询？

原因 2 - 请记住，异步只是将任务作为线程产生。由于您将使用 JPA，请记住实体管理器不是线程安全的。 DAO 类将传播事务。以下是可能出现的问题的示例 - http://alexgaddie.blogspot.com/2011/04/spring-3-async-with-hibernate-and.html

恕我直言，最好继续进行多个 Ajax 调用，因为这将使您的组件具有凝聚力。是的，您将有 20 个端点，但它们将具有更简单的 DAO、更简单的 SQL、易于进行单元测试，并且返回的数据结构将更容易被 AngularJS 小部件处理/解析。当 UI 触发所有 20 个 Ajax 调用时，仪表板将在各个小部件准备就绪时加载它们，而不是同时加载所有小部件。这将帮助您通过优化仪表板加载速度较慢的部分(可能是缓存、索引等)来扩展您的设计。

捆绑 DAO 调用只会使数据结构变得复杂并且单元测试更加困难。