gpt4 book ai didi

azure - 在 Azure ACI(容器)或 AKS (Kubernetes) 上部署 ML 模型

转载 作者:行者123 更新时间:2023-12-03 03:54:19 25 4
gpt4 key购买 nike

我正在探索以最具成本效益的方式为我训练过的机器学习模型提供服务。

我目前有 4 个不同的模型,其中第一个模型的输出构成第二个模型的输入的一部分,依此类推。

当前的用户基数非常小,所需的推理数量也很​​少且零星。 IE。每隔几个小时 2 - 3 次,甚至有些日子推理次数为 0。

首先,我使用 ACI 进行部署,但由于某种原因,即使没有人访问端点,容器实例仍保持运行。我的印象是实例应该自行停止以避免对未使用的时间进行计费。

这与部署为实时端点的模型有关吗?当端点/模型未使用时,Kubernetes 部署是否会更合适(例如会缩小到 0 个节点)?

最佳答案

我必须仔细检查,但我相当确定您无法使用部署在 AKS 上的模型将节点缩减至零。也许考虑部署到 Azure Functions?

https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-functions

关于azure - 在 Azure ACI(容器)或 AKS (Kubernetes) 上部署 ML 模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65165535/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com