python - Airflow - dags 没有运行

Question

python :27

我刚刚在带有 mysql 后端的新虚拟机 GCP 上安装了 airflow。(sudo pip install apache-airflow 和 sudo pip install apache-airflow[mysql])

我没有创建自己的任何 dag，但尝试运行示例以了解其工作原理。

我已经改变了配置以使用

executor = LocalExecutor

完成

export AIRFLOW_HOME=`pwd`/airflow  (in both shells)
airflow initdb

Web 服务器作为“airflow webserver”启动，在不同的 shell 中我启动了“airflow scheduler”。

我尝试通过单击“DAG”然后单击“运行”按钮进入 Web UI 以统计任务。 (对话框打开询问我是否想现在运行)

我尝试启动的是“example_bash_operator、example_http_operator、example_python_operator”，它们现在显示为正在运行。但是状态不会改变。我还单击了 3 个 DAG，因此显示为“打开”。

当我去浏览 -> 任务实例并查看应该启动的第一个实例时，它显示:

All dependencies are met but the task instance is not running. 
In most cases this just means that the task will probably be scheduled soon unless:
.......

我的服务器没有给出任何有意义的输出。我的调度程序正在输出

[2017-11-20 13:42:37,460] {jobs.py:1407} INFO - Heartbeating the process manager
[2017-11-20 13:42:37,460] {jobs.py:1443} INFO - Heartbeating the executor

Answer 1

我知道现在有点晚了，但我也遇到了同样的问题，所以我想在那里为面临这个问题的其他人提供答案。

所以问题是因为 airflow 的调度程序在 airflow.cfg 中的变量 dags_folder 指定的文件夹中寻找要运行的 dag。示例 dags 存储在安装 Airflow 库的位置，这就是调度程序没有选择任何东西运行的原因。要修复它，只需将 airlfow.cfg 中 dags_folder 的值更改为指向包含示例 dag 的文件夹。要查找示例 dag 文件夹，请运行 find | grep 'example_bash_operator' 来自根目录