java - kubernetes 上的可扩展 spring 批处理作业

Question

我正在使用 spring batch 开发一个 ETL 批处理应用程序。我的 ETL 过程从一个基于分页的 REST API 获取数据并将其加载到 Google 大查询。我想在 kubernetes 集群中部署这个批处理应用程序，并想利用 pod 可扩展性功能。我知道 spring batch 支持水平和垂直缩放。我有几个问题:-

1) 如何在 kubernetes 上部署此 ETL 应用程序，以便它使用远程分块/远程分区按需创建 pod？

2) 我假设会有主要的主 pod 和根据负载配置的不同的从属 pod。是否正确？

3) 还有一个 kubernetes 批处理 API 可用。使用 kubernetes 批处理 API 或使用 Spring Cloud 功能。哪个选项更好？

Answer 1

我已经将 Spring Boot 与 Spring Batch 和 Spring Cloud Task 结合使用来完成与您想做的事情类似的事情。也许它会对你有所帮助。

它的工作方式是这样的:我有一个管理器应用程序，它使用我的主应用程序在 Kubernetes 上部署 pod。主应用程序做一些工作，然后开始远程分区部署其他几个带有“worker”的 pod。

尝试回答您的问题:

1) 您可以创建具有 Spring Batch 作业的应用程序的 docker 镜像。让我们称之为主应用程序。将部署主应用程序的应用程序可以使用 spring cloud deployer kubernetes 中的 TaskLauncher 或 AppDeployer

2) 正确。在这种情况下，您可以使用远程分区。每个分区都是另一个带有作业的 docker 镜像。这将是你的 worker 。可以找到远程分区的示例 here .

3) 在我的例子中，我使用了 spring batch 并设法完成了我需要的一切。我现在唯一的问题是升级和缩小我的集群。由于我的工作人员不是有状态的，所以当实例从集群中删除时我遇到了一些问题。如果您不需要升级或缩减您的集群，您就可以开始了。