python - 在 Google Cloud ML Engine 中使用自定义依赖项

Question

我正在尝试使用 python package未在带有 Google Cloud ML Engine 的 PyPI 中列出。该包本身具有依赖项，即使在 PyPI 中列出，默认情况下也不会在 ML 引擎环境中安装这些依赖项，即 Cython包。

查看documentation在这种情况下，目前尚不清楚如何继续，我尝试将此包打包在 .tar.gz 文件中，并将其传递到 --packages 参数下，但是我收到以下错误:

File "<string>", line 1, in <module> IOError: [Errno 2] No such file or directory: '/tmp/pip-jnm3Ml-build/setup.py'

在我尝试使用 setup.py 文件并打包我的代码后，但 google cloud ml 引擎无法在 dependency_links 中找到该包

这是我当前的setup.py:

from setuptools import find_packages, setup

required_packages = ['cython', 'numpy', 'tensorflow', 'scipy', 'cython']
dependency_links = ['git+https://github.com/lucasb-eyer/pydensecrf.git']

setup(name='trainer',
      version='0.1',
      packages=['trainer'],
      install_requires=required_packages,
      dependency_links=dependency_links,
      include_package_data=True,
      description='description')

我希望避免通过反复试验来做到这一点，因为将作业发送到云会花费金钱，即使它们立即失败。

提前致谢。

Answer 1

为此，您需要将 Cython 添加到 setup.py 中所需的包列表中。 。说明可以找到here .

这是一个示例 setup.py ，它将驻留在您传递为 --package-path 的目录的父目录中至gcloud .

from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['Cython>=0.26']

setup(
    name='trainer',
    version='0.1',
    install_requires=REQUIRED_PACKAGES,
    packages=find_packages(),
    include_package_data=True,
    description='My trainer application package.'
)