java - 大文件的Spring集成

Question

我需要使用 spring 集成对大数据包执行 ETL 操作。例如，我有一个巨大的 xml 文件，如:

<school>
    <cource name="A">
        <class>
            <name>A1</name>
            <students>20</students>
        </class>
        ...
        <class>
            <name>A35</name>
            <students>19</students>
        </class>
    </cource>
    <cource>
    ...
    </cource>
</school>

结果应该是 2 个 cvs 文件:

首先:

A1;20
...
A35;35

第二个:

A; 754
..
C; 232

就是简单的转换操作和一些容器上的聚合函数。 “class”和“cource”记录的数量真的很大，我无法解析内存中的输入数据(所以我需要按元素迭代)，但我仍然不想使用集成模式来轻松修改 ETL 流程。

有什么办法可以做到这一点吗？

Answer 1

您可以使用 Spring Integration 检测文件的存在并启动 Spring Batch 作业(使用 JobLaunchingMessageHandler 中提供的 spring-batch-integration 项目提供spring-batch-admin ).