python - 为什么使用 Google AI-Platform 进行本地训练无法在虚拟环境中进行？

Question

我正在使用 Google Cloud Platform 中的 AI 平台通过 scikit-learn 使用 this template 来训练随机森林分类器来自 Google 云平台 GitHub。

我在一些地方调整了代码以适应我自己的问题。该代码是使用 PyCharm 在 Ubuntu 设备上用 Python 3.5 编写的。使用以下终端在云中训练模型效果非常好 command (不包括附加参数):

gcloud ai-platform jobs submit training

但是当我尝试使用local training functionality时我的虚拟环境中的 ai-platform (python 3.5):

gcloud ai-platform local train

(不包括附加参数)。它返回以下错误:

Traceback (most recent call last):
  File "/snap/google-cloud-sdk/99/usr/lib/python2.7/runpy.py", line 174, in _run_module_as_main
    "__main__", fname, loader, pkg_name)
  File "/snap/google-cloud-sdk/99/usr/lib/python2.7/runpy.py", line 72, in _run_code
    exec code in run_globals
  File "/home/merijn/PycharmProjects/user-matching/trainer/task.py", line 28, in <module>
    from trainer import model
  File "trainer/model.py", line 28, in <module>
    from trainer import utils
  File "trainer/utils.py", line 23, in <module>
    from tensorflow import gfile
ImportError: No module named tensorflow

所有依赖项都已正确安装在我的虚拟环境中，包括 TensorFlow。在TensorFlow导入错误之前，是sklearn导入错误，我通过在正常环境中安装sklearn模块解决了这个错误。这支持了我的猜测，这可能与我的正常环境中在 python 2.7 上运行的 Google SDK 有关。因此，当在我的 venv 中运行 gcloud 命令时，它很可能在我的正常环境而不是我的 venv 中运行我的整个程序，并且到目前为止我无法强制它在我的 venv 中运行。请注意，我已经为参数 --job-dir 和 --package-path 尝试了许多不同的值。

经过几天的互联网搜索，我仍然找不到在安装了 python 3.5 的虚拟环境中使用 AI 平台进行本地训练的方法。希望你能帮助我。

Answer 1

你是对的。这与 gcloud 无法在本地执行 Python3 程序有关。

存在一个非常简单的解决方法 - 不要使用gcloud ai-platform local train。相反，只需直接调用 python 解释器即可:

export PYTHONPATH=${PYTHONPATH}:/some/dir/package/path
python3 -m trainer.task --job-dir /tmp ...