Airflow :找不到 dag_id

Question

我在不同的 AWS 机器上运行 Airflow 服务器和工作器。
我已经在它们之间同步了那个 dags 文件夹，运行 airflow initdb在两者上，并检查当我运行 airflow list_tasks <dag_id> 时 dag_id 是否相同

当我运行调度程序和工作程序时，我在工作程序上收到此错误:

airflow.exceptions.AirflowException: dag_id could not be found: . Either the dag did not exist or it failed to parse. [...] Command ...--local -sd /home/ubuntu/airflow/dags/airflow_tutorial.py'

问题似乎是路径错误(/home/ubuntu/airflow/dags/airflow_tutorial.py)，因为正确的路径是/home/ hadoop /...

在服务器机器上，路径是 ubuntu，但在两个配置文件上，它只是 ~/airflow/...
是什么让 worker 看到这条路径而不是正确的路径？

我如何告诉它查看它自己的主目录？

编辑:

不太可能是配置问题。我跑了grep -R ubuntu并且唯一出现在日志中

当我在带有 ubuntu 的计算机上运行相同的程序时作为用户一切正常。这让我相信由于某种原因 Airflow 为 worker 提供了完整的任务路径

Answer 1

添加 --raw airflow run 的参数命令帮助我查看原始异常是什么。就我而言，元数据数据库实例太慢，并且由于超时加载 dag 失败。我通过以下方式修复了它:

升级数据库实例

增加参数 dagbag_import_timeout在 Airflow .cfg

希望这可以帮助!