python - 难以格式化 tf.example 以向 Tensorflow 服务发出请求

Question

关于向 TensorFlow Serving 发出请求的最佳方式，我有两个广泛的问题:

1. 当稳定性比吞吐量更受关注时，使用 gRPC over REST 是否有任何好处，它既更易于交互也更易于编码数据输入？

2. 使用 gRPC 时，从 python 客户端创建 tf.examples 的推荐方法是什么。我们已经看到这是通过使用 beam 模式对其进行覆盖以及通过繁琐地递归 JSON 并在此过程中构建单个对象来完成的。对于如此重要​​的服务组成部分，这些方法似乎都不稳健、高效或简单。

提前致谢...

Answer 1

关于你的第二个问题:我自己也不是专家，但我以前就是这样做的。

假设您有多个输入的数据，这些数据存在于将张量名称映射到 numpy 数组的 request_dict 中，您可以按如下方式填充请求对象:

from tensorflow_serving.apis import predict_pb2
from tensorflow.contrib.util import make_tensor_proto    

request = predict_pb2.PredictRequest()
request.model_spec.name = 'tf_serving'
request.model_spec.signature_name = 
tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY 

for k, v in request_dict.items(): # keys are tensor names, values are np arrays
    request.inputs[k].CopyFrom(make_tensor_proto(v, shape=v.shape))

我同意这很乏味，而且 python 用户缺乏这部分的文档。使用 REST 确实更容易，但我无法评论您关于 gRPC 与 REST 的第一个问题。