rest - 如何将图形导出到 Tensorflow Serving 以便输入为 b64？

Question

我有一个 Keras 图，它具有形状为 (?, 224, 224, 3) 的 float32 张量，我想将其导出到 Tensorflow Serving，以便使用 RESTful 进行预测。问题是我不能输入张量，而是编码的 b64 字符串，因为这是 REST API 的限制。这意味着在导出图形时，输入需要是需要解码的字符串。

如何在不重新训练图本身的情况下“注入(inject)”要转换为旧张量的新输入？我试过几个例子[1] [2] .

我目前有以下导出代码:

image = tf.placeholder(dtype=tf.string, shape=[None], name='source')


signature = predict_signature_def(inputs={'image_bytes': image},
                                 outputs={'output': model.output})

我不知何故需要找到一种将图像转换为 model.input 的方法，或者一种使模型输出连接到图像的方法。

如有任何帮助，我们将不胜感激!

Answer 1

您可以使用 tf.decode_base64 :

image = tf.placeholder(dtype=tf.string, shape=[None], name='source')
image_b64decoded = tf.decode_base64(image)
signature = predict_signature_def(inputs={'image_bytes': image_b64decoded},
                                 outputs={'output': model.output})

编辑:

如果需要使用tf.image.decode_image ，您可以使用 tf.map_fn 使其与多个输入一起使用:

image = tf.placeholder(dtype=tf.string, shape=[None], name='source')
image_b64decoded = tf.decode_base64(image)
image_decoded = tf.map_fn(tf.image.decode_image, image_b64decoded, dtype=tf.uint8)

当然，只要图像具有相同的尺寸，这就可以工作。然而，结果是一个形状完全未知的张量，因为 tf.image.decode_image可以根据图像类型输出不同数量的维度。您可以 reshape 它或使用另一个 tf.image.decode_* 调用，这样至少您在张量中有一个已知的维数。