java - Spring Batch - Manager 中的远程分区 - Worker 环境 - CSV 文件

Question

我有一个要求，需要处理存储在目录/GCP 中的 400 多个 CSV 文件(每个文件 100 到 500MB)。

对于每个文件，我需要从数据库获取有效帐号并将其保存在内存中，根据内存中的数据验证文件的每一行并将有效记录写入另一个 CSV 文件(列格式更改)并将生成的文件导出到AWS。将来，希望支持来自 MQ 的请求，流程保持不变。

要求是在分布式系统中实现这一点。

我计划使用 Spring Batch 来满足此要求，但我无法找到使用不同系统作为 Manager - Worker 进行远程分区的良好示例/代码。我想了解如何配置 Manager、Worker、如何启动它们以及如何将文件元数据作为请求和响应传递。

我得到了单个 JVM 上分区的示例，因此仅使用示例代码寻找 Manager-Worker 示例。

任何建议/引用都将受到高度赞赏，并提前致谢。

Answer 1

I am planning to use Spring Batch for this requirement, But i am unable to find good example / code of Remote partitioning using different systems as Manager - Worker.

此处通过代码示例和图表详细解释了远程分区:https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/spring-batch-integration.html#remote-partitioning

您还可以找到:

• 完整示例:Remote partitioning sample以及管理器和工作器设置的代码:https://github.com/spring-projects/spring-batch/tree/master/spring-batch-samples/src/main/java/org/springframework/batch/sample/remotepartitioning
• 这里有关于 Spring Batch 中的扩展选项的讨论:https://youtu.be/J6IPlfm7N6w?t=2230