映射到标签的 Tensorflow Serving 预测

Question

我正在使用 TensorFlow 服务提供初始模型。我在 Azure Kubernetes 上这样做，所以不是通过更标准和有据可查的谷歌云。

无论如何，这一切都在起作用，但是我感到困惑的是预测作为浮点数组返回。这些值映射到训练期间传入的原始标签，但如果没有原始标签文件，则无法对每个概率相关的内容进行逆向工程。

在我开始服务之前，我只是使用一个推理脚本，然后交叉引用我在训练时与卡住模型一起存储的标签文件。但服务这行不通。

所以我的问题是如何获得与模型关联的标签并理想地获得返回标签和概率的预测？

Answer 1

我尝试了@user1371314 建议的方法，但我无法让它工作。另一个有效的解决方案是创建一个张量(而不是一个常量)，并在保存模型时仅将其映射到输出层的第一个元素。当你把它放在一起时，它看起来像这样:

# get labels names and create a tensor from it
.... 
label_names_tensor = tf.convert_to_tensor(label_names)

# save the model and map the labels to the output layer
tf.saved_model.simple_save(
        sess,
        "./saved_models",
        inputs={'image': model.input},
        outputs={'label' : label_names_tensor,'prediction': model.output[0]})

在为模型提供服务后进行预测时，您将获得以下结果:

{
    "predictions": [
        {
            "label": "label-name",
            "prediction": 0.114107
        },
        {
            "label": "label-name",
            "prediction": 0.288598
        },
        {
            "label": "label-name",
            "prediction": 0.17436
        },
        {
            "label": "label-name",
            "prediction": 0.186366
        },
        {
            "label": "label-name",
            "prediction": 0.236568
        }
    ]