gpt4 book ai didi

airflow - apache airflow 为 DAG 文件夹中的所有脚本定义数据

转载 作者:行者123 更新时间:2023-12-01 07:57:10 31 4
gpt4 key购买 nike

我有 Amazon S3 连接设置等数据。这些数据与我的 DAG 文件夹中的许多 .py 文件相关。

我知道 default_args 与特定 .py 文件中的所有 DAGS 共享我的问题是如何定义我的 DAG 文件夹中的 ALL .py 文件可以访问的数据?

想象一下,我需要更改我的 S3 连接详细信息...我不想遍历所有文件并一个一个地进行更改。我只想在一个地方更改它。

Airflow 支持吗?

最佳答案

这正是 Connection 模型的用例。您无需传递敏感信息(即凭据),而是创建一个 Connection 记录,它代表您保存该信息,您可以使用字符串引用它。

您可以 read more about them here .

关于airflow - apache airflow 为 DAG 文件夹中的所有脚本定义数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50701852/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com