java - 处理大量数据

Question

问题是这样的。

在一个应用程序中，我获得了大约 2,00,000 个加密值任务

1. 读取一个 Vo/列表中的所有加密值
2. 重新格式化它，添加标题/预告片。
3. 一次性将此记录转储到数据库， header 和标尾位于单独的定义列中

我不想在进程之间使用任何文件存储 2,00,000 条记录列表或其他内容的最佳方式是什么如何一次性将这条记录转储到数据库中。最好分块进行，并使用单独的线程来处理它。请为此建议一些耗时较少的解决方案。

我为此使用 Spring Batch，这个过程将是一项工作。

Answer 1

Spring 批处理就是为了执行此类操作而设计的。您将需要一个 block tasklet。这种类型的微线程使用读取器、项目处理器和写入器。此外，这种类型的 tasklet 使用流式传输，因此您永远不会同时将所有项目存储在内存中。

我不确定您的数据的传入格式，但几乎所有用例都有现有的阅读器。如果您找不到所需的类型，您可以创建自己的类型。然后，您将需要实现 ItemProcessor 来处理您需要执行的任何修改。

对于写入，您可以使用JdbcBatchItemWriter。

对于这些页眉/页脚，我需要更多详细信息。如果它们是所有记录的聚合，您将需要事先处理它们。您可以将最终结果放入ExecutionContext中。