python - 我可以将本地依赖项与 Dataflow for Python SDK 一起使用吗

Question

Dataflow for Python SDK 有一个 --requirements_file 选项，它可以采用标准 requirements.txt ，并在运行前将其安装在其工作人员上。使用这些文件有什么限制吗？具体来说，我可以使用所有 pip 标志(例如 --editable_mode 或 -e)来安装我的本地软件包吗？

Answer 1

Dataflow for Python SDK 将在启动工作负载之前运行 pip install -rrequirements.txt。重要的是，需求文件中引用的所有项目都可供工作计算机访问。对 PyPI 或其他可访问位置(例如 http)的依赖项将正确安装，本地包(例如 -e my_package)不会正确安装，因为工作人员无法访问它们。

--extra_package 选项允许以可访问的方式暂存本地包。不要在 requirements.txt 中列出本地软件包，而是创建本地软件包的 tarball(例如 my_package.tar.gz)并使用 --extra_package code> 暂存它们的选项。

Managing Python Pipeline Dependencies有关这些选项的更多详细信息。