azure - 使用 Rest API 部署模型进行在线推理时节省 VM 成本

Question

使用 Rest API 部署模型进行在线推理时节省 VM 成本ADB 允许我们通过 REST API 部署模型进行在线推理。为此，ADB 创建了一个专用于服务特定模型的虚拟机。数据科学家可以创建和部署多个模型来测试在线推理，因此成本可能会快速增长且不受控制且不必要，因为这些新创建的虚拟机一直在运行。

可以在一段时间不活动后将其关闭吗？

Answer 1

微软回答我说，在未来的 Azure Databricks 版本中，模型服务将得到改进 - 使用容器而不是使用虚拟机。