google-cloud-platform - 如何在 Google Cloud 中运行无服务器批处理作业

Question

我有一个需要几个小时才能运行的批处理作业。如何在 Google Cloud 上以无服务器方式运行它？

AppEngine、Cloud Functions 和 Cloud Run 的时间限制为 10-15 分钟。我不想在 Apache Beam 中重写我的代码。

是否有等效于 Google Cloud 上的 AWS Batch？

Answer 1

AI Platform Training 是无服务器且长期存在的。将批处理代码包装在 Docker 容器中，推送到 gcr.io，然后执行以下操作:

gcloud ai-platform jobs submit training gpu_function \
       --scale-tier BASIC \ 
       --region $REGION \ 
       --master-image-uri gcr.io/$PROJECT_ID/some-image-name

你可以运行任意的 Docker 容器——它不一定是机器学习工作。有关详细信息，请参阅:
https://cloud.google.com/ml-engine/docs/custom-containers-training