python - 是否可以配置 AWS CodeArtifact PyPi 存储库以用于 AWS MWAA？

Question

AWS MWAA (Managed Workflows for Apache Airflow) 是 AWS 提供的相对较新的服务。配置 MWAA 环境时，可以提供自定义 requirements.txt 文件，用于在该环境中安装其他 Python 包。

在我工作的公司中，我们使用 AWS CodeArtifact对于自定义 PyPi 包存储库，我们在其中上传私有(private) Python 包。我们想在 Airflow DAG 中使用其中的一些。这就是为什么我想知道是否可以以某种方式配置 MWAA 环境以使用 CodeArtifact 的 PyPi 存储库？

或者有什么方法可以在 MWAA 环境中安装自定义 Python 包(不在公共(public) PyPi 中)？

Answer 1

没有尝试但应该可以:

# aws codeartifact login --tool pip --domain **--repository **
# awk '/index-url/ {print "-i "$3}' ~/.config/pip/pip.conf  > requirements.txt
# echo <my python package> >> requirements.txt

可以作为普通需求文件使用:

# pip3 install -r requirements.txt 
Looking in indexes: https://aws:****

请注意，CodeArtifact token 最长会在 12 小时后过期。您可以创建一个循环作业来重新生成此文件...