airflow - 使用 apache Airflow 中的 UI 更改任务的依赖关系

Question

有没有办法从 UI 本身设置任务依赖项，而不是在 DAG 文件中定义它。我知道我们可以设置 依赖项 喜欢 task1 >> task2 >> task3 .但是，我可以使用 localhost 做同样的事情吗？ webserver UI.

Answer 1

[问] Airflow 是否原生支持基于 UI 的 DAG 编辑？
[答] 不

[问] 能达到同样的“效果”吗？
[答] 是的
如果您编写了一个 DAG 构建器代码(例如)解析存储在 Airflow 中的 JSON/YAML Variable (其中包含要创建什么 DAG s、operator s 以及如何将它们链接在一起的信息)以生成 DAG s，然后通过编辑这些 Variable s(来自 UI 本身)，您将能够修改 DAG 的结构
一些很好的引用是

etsy/boundary-layer

dag-factory

[问] 是否应该这样做(推荐做法)？
[答] 只要您以这种方式生成的 DAG 是不可变的(它们的结构不会时常发生变化)，就可以了。虽然动态修改结构可能很有吸引力(听起来很酷/强大)，但我认为应该避免这样做，因为这会损害系统的完整性(系统将变得难以推理，调试能力会受到损害)

进一步阅读

Astronomer.io: Dynamically Generating DAGs in Airflow

(高级东西)Comment in Can an Airflow task dynamically generate a DAG at runtime?