python - 实际上在云中训练谷歌云机器学习引擎 - 对该方法的澄清

Question

我正在尝试使用谷歌云机器学习引擎为 sklearn 模型实现基于云的预测。我可以做到这一点，但似乎即使在使用 REST API 时，它也总是引用实际上离线训练的训练器模块/或在安装了 sklearn 的标准 python3 运行时上训练的训练器模块，而不是任何谷歌服务:

training_inputs = {'scaleTier': 'BASIC',
#'masterType': 'standard',
#'parameterServerType': 'large_model',
#'workerCount': 9,
#'parameterServerCount': 3,
'packageUris': ['gs://pathto/trainer/package/packages/trainer-0.0.0.tar.gz'],
'pythonModule': 'trainer.task',
'region': 'europe-west1',
'jobDir': ,
'runtimeVersion': '1.12',
'pythonVersion': '3.5'}

所以，在我看来，无论是使用 gcloud(命令行提交)还是通过以下方式使用 REST API:

request = ml.projects().jobs().create(body=job_spec, parent=project_id)

实际的训练是由我运行 sklearn 的 Python 代码完成的，即 google cloud ML 引擎，它所做的就是从 sklearn model.bst 文件接收模型规范，然后运行实际预测。我的理解正确吗？感谢您的帮助，

Answer 1

为了回答您的问题，以下是有关 ML Engine 的一些背景信息:命令中引用的模块是 the main module这开始了整个训练过程。此过程将在代码中包含训练文件和评估文件，如 this example 中所示。 ，ML Engine将负责根据这些文件创建模型。因此，当向 ML Engine 提交训练作业时，训练过程将在每个训练步骤中使用 ML Engine 资源来创建模型，该模型可以部署到 ML Engine 中进行预测。

对于您的问题，ML Engine 不会干扰训练数据集和模型编码。这就是为什么它需要带有模型规范和代码的训练器模块。它为模型训练和预测提供资源，并管理模型的不同版本。这个图document应该是了解 ML Engine 功能的一个很好的引用。