tensorflow 服务输入负载

Question

我有一个以 SavedModel 格式 (.pb) 保存的模型。在没有问题地提供模型后，我尝试通过 tensorflow 服务进行预测。 TF Serving 要求我通过列表输入数据，否则我收到的答案是 TypeError: Object of type 'ndarray' is not JSON serializable.但是当我输入一个列表时，响应是错误的

输入是

value = [1, 2, 3, 4, 5]
body = {"signature_name": "serving_default",
        "instances": [[values]]}
res = requests.post(url=url, data=json.dumps(body))

和答案 { "error": "In[0] 不是矩阵。相反它的形状是 [1,1,5]\n\t [[{{node sequential/dense/Relu}}]] "

我知道模型有效，不使用 tensorflow 服务的输入是

value = np.array([1,2,3,4,5])
model.predict([[value]])

所以问题是如果需要使用列表作为输入但模型需要 np.array 作为输入，如何使用 tensorflow serving。

Answer 1

我想你应该这样做

value = <ndarray>
data = value.tolist()
body = {
    "signature_name": "serving_default",
    "instances": data}