java - 设计一个 Spring 批处理应用程序从不同的资源(平面文件)读取数据

Question

我正在使用(Spring boot、java 和 Spring 批处理)开发批处理应用程序，我需要从不同位置读取数据。下面是我的用例:

多个路径，例如 C://Temp//M1, C://Temp//M2 ，两个位置都可以包含具有相同数据的相同文件，例如 C://Temp//M1//File1.txt, C://Temp//M2//File1.txt, and C://Temp//M1//File2.txt, C://Temp//M2//File2.txt

首先，如果在删除重复项后开始批处理之前两个位置都存在相同的文件，我需要将它们合并到内存中，并将合并的内存数据作为参数传递给读取器。

我使用 multiresourceitemreader 设计了批处理，它读取平面文件并处理它们，但无法实现内存中合并和从多个文件中删除重复项。
那么请您看一下并建议我如何实现这一目标？

Answer 1

根据我的经验，我发现在处理平面文件时使用 BeanIO 库是无价的。它还与 Spring 批次集成。
http://beanio.org/
您可以从 2 个位置阅读哪些方面的内容:

将你的阅读器实现为一个复合体，从文件 1 中读取第一行，然后从文件 2 中读取

您首先通读了读取器文件 1，然后在 prosessor 中使用文件编号 2 中的数据进行了丰富。

预合并文件