bigdata - Airflow 代码库的部署

Question

我们正在简化 Airflow 代码库的构建/部署管道。

有没有人有使用 CI/CD 工具为 Apache Airflow 构建和部署管道的经验？

您如何在不同环境(如测试、暂存、生产等)中部署您的 Airflow 代码库，包括 DAG/插件/运算符(operator)？

你如何管理每个环境的airflow.cfg 配置？

您在哪里管理每个环境的配置。

Answer 1

我们将所有代码构建到一个 Docker 镜像(DAG、插件、不同的 Python 包、不同的 airflow.cfg 文件等)中，然后推送到我们的 Kubernetes 集群。同一个镜像在任何地方都运行，确保依赖关系保持锁定状态，并且每个 Airflow 都针对它的用例进行了最佳配置(我们在 Kubernetes 集群上运行多个 Airflow 实例)。

就 CI/CD 而言，由于我们的部署几乎只是一个 docker push，我们使用 CircleCI 没有任何问题。

为了管理环境，我们将尝试在 Airflows 中保持名称相同的连接(例如 redshift_conn )，但使用不同的凭据(dev Redshift 与 prod Redshift)。我认为应该有更优雅的解决方案，但到目前为止，这对我们来说是有效的。