ubuntu - Airflow 调度器

Question

嗨，我目前正在尝试在 EC2 集群上的 ubuntu 16.04 上使用 SequentialExecutor 设置最简单的 Airflow 版本。

我创建了一个 dag 以每 5 分钟运行一次，但是 dag 运行会卡在队列中，除非我 ssh 进入服务器，运行 airflow scheduler并保持该终端窗口打开。

有没有办法不用开着 window ？

Answer 1

您可以通过传递 --daemon 将调度程序作为守护进程运行。旗帜。它将作为后台进程运行，因此即使在您关闭窗口后它仍保持事件状态。可以在 worker 和 webserver 上使用相同的标志。

-D, --daemon          Daemonize instead of running in the foreground

或者，您也可以使用 systemd 将 Airflow 作为服务运行。 . Airflow 有一些例子 config files你可以引用。