spring-batch - Spring 批处理 FlatFileItemReader 读取多个文件

Question

根据 spring batch docs由于重启问题，他们不建议使用 MuliResourceItemReader，并建议在每个文件夹中使用一个文件。

"It should be noted that, as with any ItemReader, adding extra input (in this case a file) could cause potential issues when restarting. It is recommended that batch jobs work with their own individual directories until completed successfully."

如果我有一个具有以下结构的文件夹 dest/< timestamp >/file1.txt, file2.txt

如何配置 FlatFileItemReader 以读取路径中每个文件夹的模式文件。

Answer 1

我更喜欢 Spring Integration用于从目录读取文件的项目，因为轮询目录不是 Spring Batch Framework 的业务。

在最基本的场景中，Spring Integration 会轮询目录中的文件，对于每个文件，它将运行一个以文件名作为参数的作业。这将从您的批处理作业中排除文件轮询逻辑。

我应该建议这个 excellent article来自 Dave Syer用于集成这两种技术的基本概念。仔细查看处理 FileToJobLaunchRequestAdapter 的部分

Source code这个适配器也将有助于理解内部结构。