Airflow 触发任务仅基于之前的运行状态

Question

有没有办法根据以前的任务运行状态触发下一个任务。场景如下:

任务 1 - m DAG 中的第一个任务

任务 2 - 仅当任务 1 成功时才运行任务 2

任务 3 - 仅当任务 3 成功时才运行任务 3

任务 4 - 仅在任务 1 运行超过 10 小时(SLA 未命中)时才运行任务 4

Answer 1

您在这里有多种选择:

使用触发规则，见 trigger-rules关于如何使用它们。

使用 on_failure_callback 和 on_success_callback 来定义如果您的任务失败/成功会发生什么，请参阅 this post或 BaseOperator 中的定义 API Reference (参见参数 -> on_failure_callback,on_success_callback)。

如果您只想在失败或 SLA 未命中的情况下发送电子邮件，并且在这种情况下不应执行其他任务，请定义:default_args = {'email': ['some_email_adress'],'email_on_failure': True"} ，然后 Airflow 将向定义的电子邮件发送一封带有错误/sla 未命中的电子邮件。