spring - Spring批处理可以用于数据处理还是只是一个ETL工具？

Question

我正在尝试在我拥有的一个项目中使用 Spring Batch，因为还有另一个基于 Spring Batch 的项目。

但是，我阅读得越多，我就越意识到 Spring 批处理与 ApacheBeam 或 MapReduce 完全不同，它仅用于将 SAME 数据从一个地方传输到另一个地方，并使用某种类型映射，如 varchar -> 字符串。

但是，手头的任务需要一些处理，不仅是类型映射和转换，还需要聚合和数据结构。Spring批处理可以用于数据处理还是只是一个ETL工具？

Answer 1

好吧，我不同意这一点，即 Spring Batch - 仅用于将 SAME 数据从一个地方传输到另一个地方，并使用某种类型映射，如 varchar -> string。

在这项技术领域工作了 4 年，见证了这个框架的巨大发展。

Spring Batch 能够很好地处理数据、映射、所需的转换和数据聚合——Spring Batch 绝对可以用于数据处理。

作为开源技术 - 您将获得大量资料可供阅读，并且诸如 stackoverflow 之类的论坛有大量关于它的常见问题解答。

对于扩展和并行化，Spring Batch 中有多种架构，这将有助于提高您的性能。

您可以在此处找到更多详细信息

SPRING_BATCH_SCALING_AND_PARALLELING

如果您想监控您的工作，那么您可以使用 - Spring Cloud 日期流。也可以使用 AppDynamics 进行监控。

推荐这个博客 -

MONITOR_SPRING_BATCH_JOB_WITH_APP_DYNAMICS

使用 Spring Batch 的另一个优点是您有很多标准的预定义读取器、处理器和写入器类型 - 支持文件、数据库、流等源。

最重要的是——因为它是一个基于 java 的框架，你可以做所有可以用 java 做的事情。

我希望这会有所帮助。