python - TensorFlow 服务 RAM 使用情况

Question

我无法在文档中找到有关如何在 TensorFlow Serving 中保存和加载模型以及在 CPU 与 GPU 上运行时可能存在的差异的具体信息。

为了服务多个模型(以及每个模型的一个或多个版本)，一个通用工作流程是:

• 火车模型
• 保存卡住模型 (tf.saved_model.simple_save)
• 创建包含以下内容的目录结构
  • saved_model.pb
  • 变量/变量.data
  • 变量/variables.index
• 指向 config.conf 中的型号和版本

我目前正在 CPU 上运行推理并一次加载许多模型，这比预期更快地消耗 RAM。保存的模型在磁盘上相对较小，但当 TF Serving 将模型加载到内存中时，它几乎大了一个数量级。磁盘上的单个 200MB saving_model 会变成 RAM 中的 1.5GB，极大地限制了可以加载的模型数量。

问题:

• 这种行为(RAM 中内存占用更大)是否符合预期？
• TF Serving 在 CPU 和 GPU 上使用内存的方式有什么不同吗？
• 我们是否能够通过在 GPU 上进行推理来加载更多模型？

松散相关的搜索结果:

• Eager load the entire model to estimate memory consumption of Tensorflow Serving
• https://github.com/tensorflow/serving/issues/1215

Answer 1

是的，这是预期的。

不，CPU/GPU 并不重要

由于 GPU 内存比系统内存少，您可能需要安装更少的 GPU 内存。