machine-learning - Google Cloud 上使用 GPU 的 Tensorflow

Question

我在 Google 机器学习上有一个使用 Tensorflow 的模型，没问题。现在我想使用 GPU 进行一些预测。我看到了这个link ，但它讲述的是使用 GPU 进行训练而不是预测。预测 session 中没有任何关于 GPU 的内容。

有人知道是否可以使用带有 GPU 的谷歌机器学习引擎进行预测？或者，如果我使用 GPU 进行训练，我的预测会自动使用 GPU 运行？

我正在使用以下命令行:

gcloud ml-engine predict --model ${MODEL_NAME} --json-instances request.json

该命令有效，但它正在使用 CPU。附加信息:我的模型发布在 us-east1 区域，并且我的比例是自动的。

Answer 1

您无法选择在 ml-engine 中使用 GPU 进行预测。目前还不清楚他们是否默认使用 GPU——我会链接到文档，但没有可用的。

不过，我确信他们没有使用 TPU。目前，Google 仅将 TPU 用于内部服务；尽管他们专门创建了一个 TPU 云供研究人员进行实验:https://yourstory.com/2017/05/google-cloud-tpus-machine-learning-models-training/

如果您想更好地控制预测的运行方式，您可以以相同的价格配置具有高性能 Tesla K80 GPU 的 Google 计算引擎。您的 Tensorflow 模型也可以在那里工作，而且设置起来很简单。

我的建议是使用 GCE 实例进行基准预测，然后将它们与机器学习引擎进行比较。如果 ml-engine 比 GCE 更快，那么 Google 可能会使用 GPU 进行预测。当然，他们的目标是在未来提供 GPU 和 TPU 作为机器学习引擎，但如今 HPC 云的需求正在重载。