python - 如何设置Google机器学习任务的输出目录？

Question

我使用这个 python 代码来创建机器学习任务:

credentials = GoogleCredentials.get_application_default()
ml = discovery.build('ml','v1beta1', credentials=credentials)
projectID = 'projects/{}'.format('testtf')
jobDict = { 'jobId': 'test_job_2', 'trainingInput': { 'scaleTier': 'BASIC', 'packageUris': [ 'gs://testtf-ml/cloudmldist/1479282298/trainer-0.0.0.tar.gz' ], 'pythonModule': 'trainer.task', 'region': 'us-central1' } }
request = ml.projects().jobs().create(parent = projectID, body = jobDict)
response = request.execute()

它创建了任务并成功执行，但 Google Cloud Storage 上没有任何输出。

我试图重复这个https://cloud.google.com/ml/docs/quickstarts/training教程，但来自代码而不是控制台。

有这样的命令可以从控制台放置任务:

JOB_NAME=mnist_${USER}_$(date +%Y%m%d_%H%M%S)

PROJECT_ID=`gcloud config list project --format "value(core.project)"`
TRAIN_BUCKET=gs://${PROJECT_ID}-ml
TRAIN_PATH=${TRAIN_BUCKET}/${JOB_NAME}
gsutil rm -rf ${TRAIN_PATH}

gcloud beta ml jobs submit training ${JOB_NAME} \
  --package-path=trainer \
  --module-name=trainer.task \
  --staging-bucket="${TRAIN_BUCKET}" \
  --region=us-central1 \
  -- \
  --train_dir="${TRAIN_PATH}/train"

最后一行指定输出目录。我不明白如何从代码中指定它。我使用这个方法:https://cloud.google.com/ml/reference/rest/v1beta1/projects.jobs/create

这是输入字段描述:https://cloud.google.com/ml/reference/rest/v1beta1/projects.jobs

我看到的唯一可疑字段是 TrainingInput 的 "args": [string]，但我不明白如何使用它。我尝试以这种方式指定它们:

jobDict = { 'jobId': 'test_job_2', 'trainingInput': { 'scaleTier': 'BASIC', 'packageUris': [ 'gs://testtf-ml/cloudmldist/1479282298/trainer-0.0.0.tar.gz' ], 'pythonModule': 'trainer.task', 'args': [ 'train_dir="gs://testtf-ml/test_output"' ], 'region': 'us-central1' } }

但是这样的目录没有创建。我可以通过哪种方式指定训练任务的输出文件夹？我使用这个例子:cloudml-samples-master\mnist\trainable

Answer 1

输出目录的设置方式应与命令行参数相同:

jobDict = { 'jobId': 'test_job_2', 'trainingInput': { 'scaleTier': 'BASIC', 'packageUris': [ 'gs://testtf-ml/cloudmldist/1479282298/trainer-0.0.0.tar.gz' ], 'pythonModule': 'trainer.task', 'args': [ '--train_dir=gs://testtf-ml/test_output' ], 'region': 'us-central1' } }

开头没有额外的路径引号和--。