google-cloud-composer - 如何读取气流云 Composer 存储桶中的文件？

Question

要将 bigquery 查询与实际代码分开，我想将 sql 存储在一个单独的文件中，然后从 python 代码中读取它。我试图将文件添加到与 DAG 相同的存储桶中以及子文件夹中，但是当气流运行带有 sql 文件的 python 脚本时，我似乎无法读取文件。

我想要的是这样的:

gs://my-bucket/dags -> store dags
gs://my-bucket/dags/sql -> store sql files

sql 文件可能是我需要首先读取的文件，以注入(inject) jinja 模板不支持的内容。

我可以做到以上吗？

Answer 1

Cloud Composer 使用 gs://my-bucket 中的 FUSE 驱动程序装载 GCS 存储桶至/home/airflow/gcs/ .这意味着 gs://my-bucket/dags /home/airflow/gcs/dags 的调度程序、Web 服务器和工作程序中提供了文件夹.

您的 DAG 应该能够从 /home/airflow/gcs/dags/sql 读取 SQL 文件。目录。

注:/home/airflow/gcs/data目录在工作人员上可用，但在网络服务器上不可用。