python - 使用现有的frozen_interface_graph.pb 和label_map.pbtxt 部署TFX

Question

我已经用 fastR-CNN 网络训练了一个对象检测模型，并且有 frozen_interface_graph.pb和 label_map.pbtxt训练结束后。我想将它部署为 RESTAPI 服务器，以便可以从没有 Tensorflow 的系统中调用它。那是我遇到TFX的时候。

我如何使用 TFX tensorflow-model-server加载此模型并托管 RESTAPI，以便我可以将图像作为 POST 请求发送进行预测？

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple这是我找到的引用资料，但模型的格式与我目前的格式不同。是否有任何机制可以重用我目前拥有的模型，或者我必须使用 Keras 重新训练并部署，如 reference 所示.

Answer 1

要为 TFX 重用您的模型，请使用 卡住图需要指定一个服务签名。尝试将您的模型转换为 已保存模型 使用下面成功创建 savedmodel.pb 的代码格式化带有标记集“服务”的文件。

import tensorflow as tf
from tensorflow.python.saved_model import signature_constants
from tensorflow.python.saved_model import tag_constants

export_dir = './saved'
graph_pb = 'frozen_inference_graph.pb'

builder = tf.saved_model.builder.SavedModelBuilder(export_dir)

with tf.gfile.GFile(graph_pb, "rb") as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())

sigs = {}

with tf.Session(graph=tf.Graph()) as sess:
    # name="" is important to ensure we don't get spurious prefixing
    tf.import_graph_def(graph_def, name="")
    g = tf.get_default_graph()
    sess.graph.get_operations()
    inp = g.get_tensor_by_name("image_tensor:0")
    outputs = {}
    outputs["detection_boxes"] = g.get_tensor_by_name('detection_boxes:0')
    outputs["detection_scores"] = g.get_tensor_by_name('detection_scores:0')
    outputs["detection_classes"] = g.get_tensor_by_name('detection_classes:0')
    outputs["num_detections"] = g.get_tensor_by_name('num_detections:0')

    output_tensor = tf.concat([tf.expand_dims(t, 0) for t in outputs], 0)


    sigs[signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY] = \
        tf.saved_model.signature_def_utils.predict_signature_def(
            {"in": inp}, {"out": out})

    sigs["predict_images"] = \
    tf.saved_model.signature_def_utils.predict_signature_def(
        {"in": inp}, {"out": output_tensor} )

    builder.add_meta_graph_and_variables(sess,
                                         [tag_constants.SERVING],
                                         signature_def_map=sigs)

builder.save().

我们已经通过预测您提供的示例图像来测试转换后的模型。结果没有显示任何预测，这可能意味着转换方法没有按预期工作。

至于你的问题:

"Is there any mechanism in which I can reuse the model I currently have or will I have to retrain using Keras and deploy as shown in the reference?"

有了这个结果，最好使用 重新训练你的模型。 Keras 作为您问题的答案，因为转换或重用您的卡住图模型不会成为解决方案。您的模型不保存为模型提供服务所需的变量，并且模型格式不适合生产环境。
是的，这是遵循 official documentation 的最佳方式因为你会确信这会奏效。