java - 使用 Spring Batch 将大量数据存储到数据库

Question

• 我有大量数据需要验证。然后设置一个对象并最后一一保存到数据库中。所以耗费很多时间。我是计划使用 Spring Batch 来存储大量数据一次处理后。这样我就可以消除时间每次都与数据库交谈。
• 我可以将整个数据存储在列表中并使用Spring批处理存储吗或者还有其他办法吗？请帮我举个例子。

• 编码语言 - Java - struts

• 数据库 - MySql 服务器

Answer 1

Store large amount of data

Can I store the whole data in a list

如果您的“大量”数据适合内存，那么您就可以这样做。但如果您的数据足够大并且内存无法容纳，我不确定这是否是正确的方法。

chunk oriented processing的想法在 Spring Batch 中，不将整个数据集加载到内存中，而是分块加载。该模型非常强大，可以以较低的内存占用量处理任意数量的输入数据(仅将 block 大小的项目加载到内存中)。