python - 如何向正在运行的 Airflow 服务添加新的 dag？

Question

我有一个 Airflow 服务，目前作为网络服务器和调度程序的单独 docker 容器运行，两者都由 postgres 数据库支持。我在两个实例之间同步了 dags，并且在服务启动时适本地加载了 dags。但是，如果我在服务运行时向 dag 文件夹(在两个容器上)添加一个新的 dag，则 dag 会加载到 dagbag 中，但会在 web gui 中显示缺少元数据。我可以在每次更新后运行“airflow initdb”，但感觉不对。有没有更好的方法让调度程序和网络服务器与数据库同步？

Answer 1

应该自动获取 Dag 更新。如果它们没有被拾起，通常是因为您所做的更改“破坏”了 dag。

要检查新任务实际上是否已被拾取，请在您的网络服务器上运行:

airflow list_tasks <dag_name> --tree

如果提示未找到 Dag，则说明有错误。
如果它成功运行，那么它应该会显示您的所有任务，并且当您刷新它时，这些任务应该会在您的 Airflow ui 中被拾取。

如果那里没有显示新的/更新的任务，请检查网络服务器上的 dags 文件夹并验证代码确实正在更新。