kubernetes - Kubernetes 上的批处理

Question

这里的任何人都有在 kubernetes 上进行批处理(例如 spring 批处理)的经验？这是个好主意吗？如果我们使用 kubernetes 自动缩放功能，如何防止批处理处理相同的数据？谢谢你。

Answer 1

Anyone here have experience about batch processing (e.g. spring batch) on kubernetes ? Is it good idea ?

对于 Spring Batch，我们(Spring Batch 团队)确实有一些经验，我们在以下谈话中分享:

Cloud Native Batch Processing on Kubernetes，迈克尔·米内拉

Spring Batch on Kubernetes ，由我。

在 Kubernetes 上运行批处理作业可能很棘手:

Pod 可能在处理过程中被 k8s 重新调度到不同节点上

cron 作业可能会被触发 twice

等

这需要在开发人员方面进行额外的重要工作，以确保批处理应用程序具有容错性(对节点故障、pod 重新调度等具有弹性)并且可以防止在集群环境中重复执行作业。
Spring Batch 会为您处理这些额外的工作，出于以下几个原因，它可能是在 k8s 上运行批处理工作负载的不错选择:

成本效率: Spring Batch 作业在外部数据库中维护它们的状态，这使得可以从最后一个保存点 重新启动它们 万一作业/节点失败或 pod rex1061610x765

健壮性: 得益于集中式作业存储库

，可防止重复作业执行

容错: 重试/跳过失败的项目，以防出现瞬时错误，例如调用可能暂时关闭或在云环境中重新安排的 Web 服务

我写了一篇博客文章，其中我用代码示例详细解释了所有这些方面。你可以在这里找到它: Spring Batch on Kubernetes: Efficient batch processing at scale

How to prevent batch processing process same data if we use kubernetes auto scaling feature ?

使每个作业处理不同的数据集是可行的方法(例如，每个文件一个作业)。但是您可能会对不同的模式感兴趣，请参阅 k8s 文档中的 Job Patterns。