kubernetes - 限制在kubernetes cron作业中一次启动的容器数量

Question

我有一个不太适合Argos或Airflow的需求，我想将许多容器组合到一个 pods 中，并限制一次启动的容器数量。任务是启动聚合脚本(scrapy / crawlers，API调用等)。这些脚本使用副本集来处理提取的数据，从而为单独的系统提供数据。我需要限制一次运行的容器数量，因为将来可能会运行许多容器。这不是DAG的用例。这些脚本有1个任务，我觉得将DAG中的250个聚合器(或除以数量)与并发限制结合在一起对于我的任务来说有点过头了。我似乎无法通过Google查询找到答案。有没有办法限制一次执行的容器数量？每个容器运行一个命令以启动聚合器，并在脚本完成后终止。

Answer 1

回答
不，没有办法告诉Kubernetes管理Pod中运行的容器数量。这完全由用户定义他们的Deployments / Daemonsets / Jobs等来决定。
取自docs:

Pods are the smallest deployable units of computing that you can create and manage in Kubernetes.

但是，您可以通过Kubernetes Job资源管理批处理工作负载，该资源将链接到 here。
作业可以按Pod粒度指定并行度。
这就是说，您将必须按照用例的要求将工作负载作为容器放入单独的Pod中来实现。这些Pod可以通过ClusterIP服务互相交谈。您还可以将紧密耦合的容器保持在同一Pod中，以便它们可以通过 localhost进行交谈。