python - Airflow 依赖于过去的解释

Question

根据official Airflow docs ,任务 直接上游的任务实例 需要处于成功状态。此外，如果您已设置 depends_on_past=True，则前一个任务实例需要成功(除非它是该任务的第一次运行)。

众所周知，任务是一种“实例化和参数化”运算符。

这就是让我困惑的地方。例如:

DAG: {op_1} -> {op_2} -> {op_3}

{op_2} 是一个简单的 PythonOperator，它从 {op_1} 获取 1 个参数并执行操作；

据我了解，op_2(param_1) 和 op_2(param_2) 被视为 2 个不同的任务。

给定 depends_on_past 设置为 True，则:

1. 如果 op_2(param_1) 仍在运行； op_2(param_2) 可以运行吗？
2. 如果 op_2(param_1) 在上一次运行中失败； op_2(param_1)能否在当前运行中运行？

Answer 1

来自官方docs对于触发规则:

depends_on_past( bool 值)当设置为 True 时，如果任务的先前计划未成功，则阻止任务被触发。

因此，除非您的 DAG 之前运行失败，否则 depends_on_past 不应该是一个因素，如果之前运行成功执行任务，它根本不会影响当前运行。