python - 如何将私有(private) python 包添加到 cloud composer 的要求中？

Question

我正在尝试在 Google Cloud Composer 环境中安装私有(private) Python 包。我通常使用个人访问 token 安装包。这适用于通常的 pip。

pip install git+https://$TOKEN@github.com/org/repo.git@main

按预期工作。但是，尝试在 Cloud Composer 中使用它会告诉我以下信息:

PyPI package name must follow the format of 'identifier' specified in PEP-508. (https://peps.python.org/pep-0508/)

我不确定我应该在这里做什么。有没有人有这方面的经验？

Answer 1

如果托管您的私有(private) Python 包的存储库接受外部调用，您可以生成一个带有参数的 pip.conf 文件以访问此存储库:

[global]
extra-index-url = https://username:password@yourrepo.com/simple

然后您必须将此文件复制到 Cloud Composer 存储桶:{composer_bucket_name}/config/pip/pip.conf

您还可以在 GCP Artifact registry 中托管您的 Python 私有(private)包，然后生成一个允许访问在 Artifact registry 中创建的 Python repo 的 pip.conf 文件，然后将此文件复制到 Composer 存储桶:{composer_bucket_name}/config/pip/pip.conf

在此之后，您可以在 Cloud Composer 的 PyPi 包列表中添加您的私有(private) Python 包，就像公共(public)包一样:

您还可以从官方文档中查看此链接:https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies