python - 在用于服务模型的 Tensorflow 中，服务输入函数应该做什么

Question

因此，我一直在努力理解 serving_input_fn() 的主要任务是什么时候将经过训练的模型导出到 Tensorflow 中以用于服务目的。网上有一些例子可以解释它，但我自己定义它时遇到了问题。

我要解决的问题是一个回归问题，我有 29 个输入和一个输出。是否有用于为此创建相应服务输入功能的模板？如果我使用一类分类问题怎么办？我的服务输入功能是否需要更改，或者我可以使用相同的功能吗？

最后，我是否总是需要提供输入函数，还是仅当我使用 tf.estimator 导出我的模型时才需要？

Answer 1

如果您希望您的模型能够做出预测，您需要一个服务输入函数。 serving_input_fn 指定 predict() 方法的调用者必须提供的内容。您实际上是在告诉模型它必须从用户那里获取哪些数据。

如果您有 29 个输入，您的服务输入函数可能如下所示:

def serving_input_fn():
    feature_placeholders = {
      'var1' : tf.placeholder(tf.float32, [None]),
      'var2' : tf.placeholder(tf.float32, [None]),
      ...
    }
    features = {
        key: tf.expand_dims(tensor, -1)
        for key, tensor in feature_placeholders.items()
    }
    return tf.estimator.export.ServingInputReceiver(features, 
                                                    feature_placeholders)

这通常以 JSON 形式出现:

{"instances": [{"var1": [23, 34], "var2": [...], ...}]}

附言输出不是服务输入函数的一部分，因为这是关于要预测的输入。如果您使用的是预制估算器，则输出已经预先确定。如果您正在编写自定义估算器，则需要编写导出签名。