python - Airflow 没有以 airflow_home 目录中的目录命名的模块

Question

我正在使用 virtualenv。我正在尝试使用 DAG 文件夹中的包。 airflow_home 目录的当前状态是:

airflow_home/airflow.cfg
airflow_home/airflow.db
airflow_home/dags/__init__.py 
airflow_home/dags/hello_world.py
airflow_home/dags/support/inner.py
airflow_home/dags/support/__init__.py 

hello_world.py 有代码:

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator
from dags.support import inner


def print_hello():
    return 'Hello world'

dag = DAG('hello_world', description='simple tutorial DAG',
          schedule_interval='0 12 * * *', start_date=datetime(2017, 8, 20), catchup=False)

dummy_operator = DummyOperator(task_id='dummy_task', retries=3, dag=dag)

hello_operator = PythonOperator(task_id='hello_task', python_callable=print_hello, dag=dag)

hello_from_inner_operator = PythonOperator(task_id='hello_from_inner', python_callable=inner.hello_from_inner, dag=dag)

dummy_operator >> hello_operator
hello_operator >> hello_from_inner_operator

如果我可以手动运行这个脚本，它就会运行。但随后我启动​​ Airflow 调度程序，

Broken DAG: No module named 'dags'

出现错误。我做错了什么，解决这个问题的方法是什么？

Answer 1

改用from support import inner。

路径 $AIRFLOW_HOME/dags 将在 Airflow 启动时添加到 sys.path 中。因此它将在 dags 目录下搜索模块。