kubernetes - Cloud Composer 实例节点和自动缩放

Question

我有几个 DAG 每天只运行几个小时，之后 Cloud Composer 集群什么都不做。我试图了解工作人员池自动缩放机制:

• 如果我将集群大小设置为 3 个节点，但使用 min=1、max=10 自动缩放，然后设置 DAG 的 concurrency=10，Composer 将在这 3 个节点上运行，直到 DAG 提示它需要资源，此时它会自动扩展到 10 个节点？那么当 DAG 完成时它会销毁这额外的 7 个节点吗？

Answer 1

我决定对@SNeumann 的回答进行更多阐述。至于现在，Composer 不支持启用自动缩放的 Kubernetes 集群。这是因为围绕 Kuberenetes 资源请求以及目前无法为 Airflow pod 估算这些资源请求存在复杂的对话。

已提交功能请求:1 , 2支持基于 DAG 需求的 worker 自动缩放。我建议 subscribing it随时更新，因为您会收到有关其进展的电子邮件。

根据official documentation :

the Airflow scheduler and workers are in the same GKE cluster, the schedulers and workers won't work properly if the competition results in resource starvation.

目前，您需要在节点级别启用自动缩放并编写 .yaml，然后更新 minReplicas: 1 和 maxReplicas: 50 就像@发布的 Medium 教程中那样斯 Newman 。

希望以上信息对您有用。