python - 在 MWAA 中设置 PYTHONPATH

Question

我正在尝试在 MWAA 上的 dag 中使用本地模块。

文件夹结构如下:

.
├── __init__.py
├── dags
│   ├── __init__.py
│   └── my_dag
│      ├── __init__.py
│      └── dag.py
│   └── utils
│      ├── __init__.py
│      └── file.py
│      └── secrets.py
│      └── date.py

我尝试通过导入它们来使用 ./dags/utils/secrets 中的函数:

from dags.utils.secrets import get_secret

在本地，我已经能够通过将环境变量 PYTHONPATH 设置为 usr/local/airflow 来使其工作

这是最好的方法吗？如果不是，我怎样才能让它在 MWAA 上运行？

谢谢，

Answer 1

Locally, I've been able to make it works by setting environment variable PYTHONPATH to usr/local/airflow

Is it the best way ? If not how can I make it works on MWAA ?

将 Airflow 部署到 MWAA 环境时，您无需显式设置 PYTHONPATH环境变量。

I try to use functions from ./dags/utils/secrets by importing them like :

from dags.utils.secrets import get_secret

调整 Python import相对于 MWAA 环境的 DAGs 文件夹的声明。例如，如果 DAGs 文件夹是 s3://<bucket>/dags ，那么导入语句将是:

from utils.secrets import get_secret

示例 DAG 文件夹:

s3://<bucket>/dags/__init__.py
s3://<bucket>/dags/my_dag/__init__.py
s3://<bucket>/dags/my_dag/dag.py
s3://<bucket>/dags/utils/__init__.py
s3://<bucket>/dags/utils/file.py
s3://<bucket>/dags/utils/secrets.py
s3://<bucket>/dags/utils/date.py