spring - 使用Spring Cloud数据流代替Spring Batch的优势

Question

我们需要编写一个应用程序来每天读取一个平面文件并写入数据库表。我们计划使用 Spring Batch 来完成这项工作。

我们正在寻找的限制和添加是

1.应用程序本身将在单个 VM 中运行。它永远不会在任何时候部署在多个 VM 中。

2.我们将来可能会有其他文件遵循相同的模式。

在这种情况下，与 Spring Batch 相比，使用 Spring Data Flow 是否提供任何功能或优势？

Answer 1

我试图在此 SO thread 中总结 Spring Cloud Data Flow (SCDF) 提供的一般特性功能和简化。 - 也许这可能有用。

在你的情况下，

The application itself would run in a single VM. It would never be deployed in more than one VM at anytime.

不确定这是问题还是要求。我假设您想知道如何扩展您的批处理作业操作。

如果您有 remote partitioned批处理作业，取决于 workers 的数量您已配置，它们中的每一个都在单独的进程/容器中运行， master批处理作业中定义的步骤协调工作人员和数据分区。这将是一个并行化操作的例子——这里是一个 sample .

And we might have other files in future to follow the same pattern

伟大的。在 SCDF 中定义和注册批处理作业后，您可以随时启动/重新启动它。您可以使用 SCDF 的 REST-API、Shell 或 Dashboard 来执行此操作。

根据运行 SCDF + 批处理作业的运行时平台，您可以利用特定于平台的调度程序通过 SCDF 中公开的 REST-API 来调度批处理作业。