tensorflow - 如何使用多个model_spec创建单个PredictRequest()？

Question

我正在尝试将多个 model_spec 及其受尊重的输入添加到单个 predict_pb2.PredictRequest() 中如下:

tmp = predict_pb2.PredictRequest()

tmp.model_spec.name = '1'
tmp.inputs['tokens'].CopyFrom(make_tensor_proto([1,2,3]))


tmp.model_spec.name = '2'
tmp.inputs['tokens'].CopyFrom(make_tensor_proto([4,5,6]))

但我只收到 2的信息:

>> tmp

model_spec {
  name: "2"
}
inputs {
  key: "tokens"
  value {
    dtype: DT_INT32
    tensor_shape {
      dim {
        size: 3
      }
    }
    tensor_content: "\004\000\000\000\005\000\000\000\006\000\000\000"
  }
}

如何为具有各自输入的多个模型获得单个 PredictRequest()？

我的目标是创建一个请求并将其发送到为两个模型提供服务的 tensorflow 服务。有没有其他办法解决这个问题？为两个模型创建两个单独的请求并从 tf_serving 一个接一个地获取结果，但我想知道是否可以将两个请求合并为一个。

Answer 1

恐怕这是不可能的。在 tensorflow_serving/api/predict.proto 中，每个 PredictRequest 只有一个 ModelSpec。您可以尝试添加一些代码来执行此操作。