airflow - 调试损坏的 DAG

Question

当 Airflow 网络服务器显示类似 Broken DAG: [<path/to/dag>] <error> 的错误时，我们如何以及在哪里可以找到这些异常的完整堆栈跟踪？

我尝试了这些位置:

/var/log/airflow/webserver -- 在执行时间范围内没有日志，其他日志为二进制并使用 strings 进行解码没有提供任何有用的信息。

/var/log/airflow/scheduler -- 有一些日志，但都是二进制形式，尝试读取它们，看起来大部分是 sqlalchemy 日志，可能是 Airflow 数据库的日志。

/var/log/airflow/worker -- 显示运行 DAG 的日志(与您在 Airflow 页面上看到的日志相同)

然后也在/var/log/airflow/rotated下-- 找不到我正在寻找的堆栈跟踪。

我使用的是 Airflow v1.7.1.3

Answer 1

通常我使用命令 airflow list_dags 打印 dags 中发现的 python 错误的完整堆栈跟踪。

每次使用airflow CLI 命令时，它都可以与几乎所有airflow 命令一起使用，作为airflow 解析dags 文件夹。