google-cloud-platform - 如何在谷歌云机器学习引擎上训练 Keras 模型

Question

我可以在谷歌云机器学习引擎上训练 tensorflow 模型。但是当我使用 Keras 代码时，我在谷歌云上收到错误 No module named keras。

Answer 1

我发现为了在谷歌云上使用 keras，必须使用 setup.py 脚本安装它，并将其放在运行 gcloud 命令的同一位置文件夹中:

├── setup.py
└── trainer
    ├── __init__.py
    ├── cloudml-gpu.yaml
    ├── example5-keras.py

并在 setup.py 中放置如下内容:

from setuptools import setup, find_packages

setup(name='example5',
  version='0.1',
  packages=find_packages(),
  description='example to run keras on gcloud ml-engine',
  author='Fuyang Liu',
  author_email='fuyang.liu@example.com',
  license='MIT',
  install_requires=[
      'keras',
      'h5py'
  ],
  zip_safe=False)

然后您可以开始在 gcloud 上运行您的作业，例如:

export BUCKET_NAME=tf-learn-simple-sentiment
export JOB_NAME="example_5_train_$(date +%Y%m%d_%H%M%S)"
export JOB_DIR=gs://$BUCKET_NAME/$JOB_NAME
export REGION=europe-west1

gcloud ml-engine jobs submit training $JOB_NAME \
  --job-dir gs://$BUCKET_NAME/$JOB_NAME \
  --runtime-version 1.0 \
  --module-name trainer.example5-keras \
  --package-path ./trainer \
  --region $REGION \
  --config=trainer/cloudml-gpu.yaml \
  -- \
  --train-file gs://tf-learn-simple-sentiment/sentiment_set.pickle

要使用 GPU，请在您的模块中添加一个文件，例如 cloudml-gpu.yaml，其内容如下:

trainingInput:
  scaleTier: CUSTOM
  # standard_gpu provides 1 GPU. Change to complex_model_m_gpu for 4 
GPUs
  masterType: standard_gpu
  runtimeVersion: "1.0"