python - 如何在 Airflow 中有多个分支？

Question

我正在尝试弄清楚如何在 Apache Airflow 中管理我的 dag。

我需要执行一些主要步骤。例如，假设 step 1 和 step 2 应始终在分支之前执行。然后步骤A、B、C、D、E都应该在步骤2之后同时分支出来，并且每个步骤都有自己的步骤..就像 >A1, A2.. 与B~E 相同。

管理它的最佳方法是什么？看起来好像有 BranchOperator 但它说它对于警报确实很有用，我并不是想在这里发出警报，而是实际上将运算符用于 A1、A2.. 步骤。 A-E 应该都是子标签吗？如果是这样，我如何触发子标签？

Answer 1

如果你想要这样的结构:

               -> A1 -> A2 -> ...
              /
step1 -> step2 -> B1 -> B2 -> ...
              \ 
               -> C1 -> C2 -> ...

然后您可以将 DAG 中的依赖项设置为

step1 >> step2
step2 >> A1 >> A2 >> ...
step2 >> B1 >> B2 >> ...
step2 >> C1 >> C2 >> ...

BranchOperator 在有条件分支时使用(如果 X 则执行 A，否则 B)。