java - 使用 JPA 将大表与大文本文件合并？

Question

我们有一个大约有 100 万行的大表，以及一个有数百万行的数据文件。我们需要定期将文本文件中的数据子集合并到数据库表中。

速度慢的主要原因是文件中的数据引用了其他 JPA 对象，这意味着需要为文件中的每一行读回其他 jpa 对象。即假设我们有 100,000 人，以及 1,000,000 个 Assets 对象

人员对象 --> Assets 列表

我们的应用程序当前使用纯 JPA 来满足其所有数据操作要求。有没有一种有效的方法可以使用 JPA/ORM 方法来做到这一点，或者我是否需要恢复到纯 SQL 和供应商特定的命令？

Answer 1

为什么不使用古老的技术:分而治之？将文件分割成小块，然后让并行进程同时处理这些小文件。

并使用 JPA 和 Hibernate 提供的批量插入/更新。更多详情here

我认为理想的方法是使用普通 JDBC 提供的批处理支持，然后定期提交。

您可能还想查看spring batch因为它提供了开箱即用的拆分/并行化/迭代文件等功能。我已成功地将所有这些用于相当大的应用程序。