gpt4 book ai didi

Access files from folder outside of $AIRFLOW_HOME/dags in MWAA airflow(访问MWAA Airflow中$AIRFLOW_HOME/DAGS之外的文件夹中的文件)

转载 作者:bug小助手 更新时间:2023-10-24 17:54:58 27 4
gpt4 key购买 nike



I am executing dbt cli commands using Airflow(using dbt.cli.main from dbt documentation) in my airflow tasks.
If i keep dbt project folder inside $AIRFLOW_HOME/dags folder of Aws MWAA airflow,it gives "Oserror 30(Read only File system)".Reason is dbt command tries to create new folder inside dags/ which is not allowed as $AIRFLOW_HOME is read only.

我在我的气流任务中使用Airflow(使用dbt文档中的dbt. dbt.main)执行dbt命令。如果我在AWS MWAA气流的$AIRFLOW_HOME/dags文件夹中保留dbt项目文件夹,它会显示“Oserror 30(只读文件系统)"。原因是dbt命令试图在dags/中创建新文件夹,这是不允许的,因为$AIRFLOW_HOME是只读的。


So,can we access files/folders outside dags/ folder or access folders on different AWS S3 bucket compared to bucket used for storing MWAA airflow files?
I need to access these folders inside my Airflow tasks.

那么,我们是否可以访问DAG/文件夹之外的文件/文件夹,或者访问与用于存储MWAA Airflow文件的存储桶不同的AWS S3存储桶上的文件夹?我需要访问我的气流任务中的这些文件夹。


Thank You.

谢谢。


更多回答
优秀答案推荐
更多回答

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com