airflow - 如何优雅地关闭 Airflow？

Question

我们在 AWS ECS 上运行 Airflow，并将所有 DAG 捆绑在一个 Docker 镜像中。我们不时更新 DAGS，并部署新版本的 Docker Image。当我们这样做时，ECS 将终止正在运行的 Airflow webserver/scheduler/worker，并启动新的。我们遇到了一些问题，即一些在部署之前启动的 DAG 在部署之后仍然被标记为“正在运行”，即使它们的任务已被部署终止，并且一些 externalSensor 任务被挂起。

有没有办法优雅地关闭 Airflow ？理想情况下，它可以将所有正在运行的任务标记为 up_for_retry，并在部署完成后重新运行它们？

Answer 1

docker stop <container-id/name>
这会温暖关闭 celery worker

worker _1 | worker :热关机(MainProcess)
worker _1 |
worker _1 | -------------- celery@155afae87458 v4.1.1 (latentcall)
worker _1 | ---- **** -----
worker _1 | --- * *** * -- Linux-4.9.93-linuxkit-aufs-x86_64-with-debian-9.5 2018-10-18 16:52:08
worker _1 | -- * - **** ---
worker _1 | - ** ---------- [配置]
......