google-cloud-ml - 将重新训练的 inception SavedModel 部署到 google cloud ml 引擎

Question

我正在尝试在 google cloud ml-engine 上部署 inception 模型的重新训练版本。从 SavedModel documentation 收集信息，这个reference ，还有这个post在 rhaertel80 中，我成功将重新训练的模型导出到 SavedModel，将其上传到存储桶并尝试将其部署到 ml-engine 版本。

最后一个任务实际上创建了一个版本，但它输出以下错误:

创建版本失败。检测到错误模型:“加载模型时出错:加载模型时出现意外错误”

当我尝试通过命令行从模型获取预测时，我收到以下错误消息:"message": "字段:名称错误:此版本无法进行在线预测。请验证 CreateVersion 是否已成功完成。"

我进行了多次尝试，尝试了不同的 method_name 和 tag 选项，但没有成功。

在原来的inception代码中添加的代码是

  ### DEFINE SAVED MODEL SIGNATURE

  in_image = graph.get_tensor_by_name('DecodeJpeg/contents:0')
  inputs = {'image_bytes': tf.saved_model.utils.build_tensor_info(in_image)}

  out_classes = graph.get_tensor_by_name('final_result:0')
  outputs = {'prediction': tf.saved_model.utils.build_tensor_info(out_classes)}

  signature = tf.saved_model.signature_def_utils.build_signature_def(
      inputs=inputs,
      outputs=outputs,
      method_name='tensorflow/serving/predict'
  )


  ### SAVE OUT THE MODEL

  b = saved_model_builder.SavedModelBuilder('new_export_dir')
  b.add_meta_graph_and_variables(sess,
                                 [tf.saved_model.tag_constants.SERVING],
                                 signature_def_map={'predict_images': signature})
  b.save() 

另一个可能有帮助的考虑因素:我使用导出的 trained_graph.pb 和 graph_def.SerializeToString() 来在本地获取预测，它工作正常，但是当我用 saved_model 替换它时.pb 它失败了。

对于可能出现的问题有什么建议吗？

Answer 1

在您的signature_def_map中，使用 key “serving_default”，该 key 在signature_constants中定义。如DEFAULT_SERVING_SIGNATURE_DEF_KEY:

b.add_meta_graph_and_variables(sess,
                               [tf.saved_model.tag_constants.SERVING],
                               signature_def_map={'serving_default': signature})