tensorflow - MultiWorkerMirroredStrategy() 无法在 Google AI 平台 (CMLE) 上运行

Question

我在使用 MultiWorkerMirroredStrategy() 在 Google AI 平台 (CMLE) 上训练自定义估算器时遇到以下错误。

ValueError: Unrecognized task_type: 'master', valid task types are: "chief", "worker", "evaluator" and "ps".

MirroredStrategy() 和 PamameterServerStrategy() 都在 AI-Platform 上使用它们各自的 config.yaml 文件正常工作。我目前不为任何操作提供设备范围。 都不是我在 session 配置中提供了任何设备过滤器，tf.ConfigProto(device_filters=device_filters)。

我用于使用 MultiWorkerMirroredStrategy() 进行训练的 config.yaml 文件是:

trainingInput:
  scaleTier: CUSTOM
  masterType: standard_gpu
  workerType: standard_gpu
  workerCount: 4

在 AI-Platform 上提交训练作业时必须输入 masterType。

注意:它将“首席”显示为有效任务类型，将“大师”显示为无效。我在 setup.py 中为训练包提供了 tensorflow-gpu==1.14.0。

Answer 1

我遇到了同样的问题。据我了解，MultiWorkerMirroredStrategy 配置值不同于其他策略以及 CMLE 默认提供的配置值:https://www.tensorflow.org/tutorials/distribute/multi_worker_with_keras#multi-worker_configuration

它不支持“master”节点，而是称其为“chief”。如果您在容器中运行作业，您可以尝试使用“useChiefInTfConfig”标志，请参阅此处的文档:https://developers.google.com/resources/api-libraries/documentation/ml/v1/python/latest/ml_v1.projects.jobs.html

否则你可能会尝试手动破解你的 TF_CONFIG:

  TF_CONFIG = os.environ.get('TF_CONFIG')
  if TF_CONFIG and '"master"' in TF_CONFIG:
    os.environ['TF_CONFIG'] = TF_CONFIG.replace('"master"', '"chief"')