airflow - 在 Airflow 中可以同时运行同一个 DAG 吗？

Question

我们有一个 airflow DAG，它正在接受用户的输入并执行一些任务。我们希望在用户输入不同的情况下同时运行相同的 DAG。我们找到了同时运行任务的多个链接，但无法获取有关同时运行的信息。因此，如果我们使用来自 cli 的两个 diff 输入触发 DAG，那么它可以在两个实例上正常运行，但只是想了解这两个实例是独立运行的，还是等待一个实例完成然后触发另一个实例？

Answer 1

您提到的所有内容都可以完成。任务可以并行执行。

这只是max_active_runs的正确配置 wait_for_downstream和 depends_on_past

DAG 参数:

max_active_runs - 事件 DAG 运行的最大数量

如果您只是希望 DAG 能够并行执行两个作业(两个不同的运行之间没有条件)，则设置 max_active_runs=2

运算符参数:

wait_for_downstream - 当设置为 true 时，任务 X 的实例将等待前一个任务 X 实例的紧接下游任务成功完成或在运行前被跳过

depends_on_past - 当设置为 true 时，任务实例将按顺序运行，并且仅当前一个实例已成功或已被跳过时。