python - Airflow 的 'parallelism'和 'dag_concurrency'有什么区别

Question

我不明白dag_concurrency和parallelism之间的区别。文档和此处的一些相关帖子在某种程度上与我的发现相矛盾。

我以前的理解是，parallelism参数允许您设置 Airflow 中可能的全局(跨所有DAG)TaskRun的最大数量，而dag_concurrency表示单个Dag可能的TaskRun的最大数量。

因此，我将parallelism设置为8，并将dag_concurrency设置为4，然后运行了一个Dag。我发现它一次运行8个TI，但我希望它一次运行4个。

那怎么可能？

另外，如果有帮助，我将这些任务的池大小设置为10左右。但这没关系，因为“config”参数的优先级高于池的优先级，对吗？

Answer 1

最好将parallelism视为max_active_tasks_total。您将其设置为8，表示“我只希望一次在所有工作人员之间运行8个任务”。
dag_concurrency比max_active_tasks_for_worker更好。将其设置为4，表示“我只希望每个工作人员一次最多运行4个任务实例”。

因此，当您运行dag时，它正在2个两个worker之间运行总共8个任务实例，每个worker运行4个任务。我认为您只是被dag_concurreny搞砸了。

此答案部分来自此处的SO答案:SO Answer