gpt4 book ai didi

deep-learning - tensorflow 服务 : Using a fraction of GPU memory for each model

转载 作者:行者123 更新时间:2023-12-04 23:53:10 24 4
gpt4 key购买 nike

我有一个 GPU 可供部署,但需要部署多个模型。我不想将完整的 GPU 内存分配给第一个部署的模型,因为那样我就无法部署我的后续模型。在训练时,这可以使用 gpu_memory_fraction 来控制。范围。我正在使用以下命令部署我的模型 -

tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>

我可以设置一个标志来控制 gpu 内存分配吗?

谢谢

最佳答案

新的 TF 服务允许在此 pull request 中设置标志 per_process_gpu_memory_fraction

关于deep-learning - tensorflow 服务 : Using a fraction of GPU memory for each model,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47587321/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com