tensorflow - 在 model_config_file 中分配版本标签失败

Question

我有一个模型的版本 1 和 2，我正在尝试按照 https://www.tensorflow.org/serving/serving_config#assigning_string_labels_to_model_versions_to_simplify_canary_and_rollback 上的说明为它们分配标签。

我已经导出了 /path/to/model/1 中的两个版本和 /path/to/model/2分别，我使用以下命令启动服务器:
tensorflow_model_server --rest_api_port=8501 --model_config_file=models.config
以下models.config文件有效，并导致仅提供服务版本 1 (如果 specific 消息被省略，版本 2 将按预期提供服务，因为它对应于最高数字):

model_config_list {
    config {
        name: 'm1'
        base_path: '/path/to/model/'
        model_platform: 'tensorflow'
        model_version_policy {
        specific {
            versions: 1
        }
    }
}

我已经验证我可以使用服务器向模型发送请求并按预期执行推理。但是，如果我尝试添加 version_labels通过使用这个配置文件:

model_config_list {
    config {
        name: 'm1'
        base_path: '/path/to/model/'
        model_platform: 'tensorflow'
        model_version_policy {
        specific {
            versions: 1
        }
        version_labels {
            key: 'current'
            value: 1
        }
    }
}

然后启动服务器失败并出现以下错误:
Failed to start server. Error: Failed precondition: Request to assign label to version 1 of model m1, which is not currently available for inference .

我还注意到更改 value字段到不存在的版本文件夹会产生类似的结果:
Failed to start server. Error: Failed precondition: Request to assign label to version 1234 of model m1, which is not currently available for inference .

我正在使用:

TensorFlow ModelServer: 1.12.0-rc0+dev.sha.87470f0
TensorFlow Library: 1.12.0

我找不到关于 version_labels 的任何 SO 问题并且可用的 tensorflow 文档似乎不完整和过时(例如，它没有提到需要在配置文件中传递 model_platform: 'tensorflow')。

任何帮助将非常感激!

Answer 1

引用 https://www.tensorflow.org/tfx/serving/serving_config

Please note that labels can only be assigned to model versions that are loaded and available for serving. Once a model version is available, one may reload the model config on the fly, to assign a label to it (can be achieved using HandleReloadConfigRequest RPC endpoint).

也许你应该先删除标签相关部分，然后启动 tensorflow 服务，最后将标签相关部分动态添加到配置文件中。