gpt4 book ai didi

c++ - 急切加载整个模型以估计 Tensorflow Serving 的内存消耗

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:14:10 24 4
gpt4 key购买 nike

随着预测的执行,Tensorflow Serving 惰性初始化模型 DAG 中的节点。这使得很难估计保存整个模型所需的内存 (RAM)。是否有标准方法强制 Tensorflow Serving 将模型完全初始化/加载到内存中?

最佳答案

您可以使用模型预热来强制将所有组件加载到内存中。 [1]

[1] https://www.tensorflow.org/tfx/serving/saved_model_warmup

关于c++ - 急切加载整个模型以估计 Tensorflow Serving 的内存消耗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56012618/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com