airflow - Apache Airflow 忽略失败的任务

Question

有没有办法忽略失败的任务并在假设 2 次重试后继续下一步？

例子;

t1= SomeOperator(...)
t2= SomeOperator(...)

t2.set_upstream(t1)


# if t1 fails re-try 2 times and proceed to t2

# else if t1 success then proceed to t2 as usual 

Answer 1

看看 Airflow trigger rules .

默认情况下，每个任务的触发规则为 'all_success' ，这意味着只有在所有直接上游任务都成功时才会执行任务。

您在这里想要的是触发规则 'all_done' ，意味着所有直接上游的任务都已完成，无论它们是失败还是成功。

但要小心，因为这也意味着如果不是直接上游的任务失败，并且该任务之后的任务被标记为 'upstream_failed' ，具有此触发规则的任务仍将被执行。

所以在你的情况下，你必须设置 retries=2对于 t1 和 trigger_rule='all_done'对于 t2。