airflow - 在 Airflow 中调度 dag 运行

Question

有关于 Airflow 的一般查询

是否可以根据另一个 dag 文件的计划安排一个 dag 文件。

例如，如果我有 2 个 dag，即 dag1 和 dag2。我想看看是否可以在每次 dag1 成功时运行 dag2，否则 dag2 不会运行。这在 Airflow 中可能吗？

Answer 1

您需要添加 TriggerDagRunOperator dag1 的末尾，并将 dag2 的时间表设置为 None。

此外，如果要处理dag1的输出的多种情况，可以添加 BranchPythonOperator根据其输出创建多个路径。例如，您可以将其设置为在成功时执行 TriggerDagRunOperator，或者让您“警告!DAG1 中的任务失败!”与 SlackAPIPostOperator如果抛出错误(或您想要构建的任何其他逻辑)。

如果您不关心多种结果，您也可以只使用 ShortCircuitOperator在 TriggerDagRunOperator 之前，以防止其基于 dag1 输出运行。