gpt4 book ai didi

azure - 使用 Rest API 部署模型进行在线推理时节省 VM 成本

转载 作者:行者123 更新时间:2023-12-03 06:59:17 25 4
gpt4 key购买 nike

使用 Rest API 部署模型进行在线推理时节省 VM 成本ADB 允许我们通过 REST API 部署模型进行在线推理。为此,ADB 创建了一个专用于服务特定模型的虚拟机。数据科学家可以创建和部署多个模型来测试在线推理,因此成本可能会快速增长且不受控制且不必要,因为这些新创建的虚拟机一直在运行。

可以在一段时间不活动后将其关闭吗?

最佳答案

微软回答我说,在未来的 Azure Databricks 版本中,模型服务将得到改进 - 使用容器而不是使用虚拟机。

关于azure - 使用 Rest API 部署模型进行在线推理时节省 VM 成本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72578959/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com