gpt4 book ai didi

kubernetes - Apache Airflow 在 AWS 中使用 kubernetes 运行 dag 运算符

转载 作者:行者123 更新时间:2023-12-03 11:23:58 24 4
gpt4 key购买 nike

我正在评估 Apache Airflow 在数据环境中用于生产,我想知道是否可以使用 Airflow 在自动缩放 Kubernetes 集群上的自包含 docker 环境中运行运算符(operator)。

我找到了以下运算符:KubernetesPodOperator这似乎可以完成这项工作,但我发现的唯一示例是在 Google Cloud 上。我想在 AWS 上运行它,但是我还没有找到任何关于如何完成的示例。我相信 AWS EKS 或 AWS fargate 可能符合要求,但不确定。

任何有 Airflow 经验的人都可以告诉我这是否可行?我在网上查了一下,还没有找到任何明确的东西。

最佳答案

我们一直在生产中使用 Fargate 和 Airflow,到目前为止的体验都很好。

我们一直将它用于临时工作负载,结果证明它比拥有专用的 Kubernetes 集群更便宜。此外,没有任何类型的管理开销。

Github — Airflow DAG with ECSOperatorConfig

关于kubernetes - Apache Airflow 在 AWS 中使用 kubernetes 运行 dag 运算符,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54501548/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com