tensorflow - 将模型热加载到 tensorflow 服务容器中

Question

我知道如何将模型加载到容器中，而且我知道我们可以创建一个静态配置文件，当我们运行 tensorflow 服务容器时，将其传递给容器，然后使用该配置文件中的模型，但我想知道是否有任何方法可以将全新的模型(而不是先前模型的更新版本)热加载到正在运行的 tensorflow 服务容器中。我的意思是，我们使用 model-A 运行容器，然后将 model-B 加载到容器中并使用它，我们可以这样做吗？如果是的话怎么办？

Answer 1

你可以。

首先，您需要将新模型文件复制到启动 tfserve 时指定的 model_base_path 中，以便服务器可以看到新模型。目录布局通常是这样的: $MODEL_BASE_PATH/$model_a/$version_a/* 和 $MODEL_BASE_PATH/$model_b/$version_b/*

然后，您需要使用包含新模型条目的新 model_config_file 刷新 tf 服务。请参阅here on how to add entries to the model config file 。要使服务器接受新配置，有两种方法:

1. 保存新的配置文件并重新启动 tf 服务。
2. 动态重新加载新模型配置，无需重新启动 tfserve。该服务在model_service.proto中定义。作为 HandleReloadConfigRequest，但服务的 REST api好像不支持，所以需要依赖gRPC API。可悲的是Python client for gRPC似乎未实现。我设法从 protobuf 文件生成 Java 客户端代码，但它相当复杂。一个例子here解释了如何生成用于执行 gRPC 推理的 Java 客户端代码，并且执行 handleReloadConfigRequest() 非常相似。