gpt4 book ai didi

用于实时预测的 CNTK 部署

转载 作者:行者123 更新时间:2023-12-01 04:54:01 24 4
gpt4 key购买 nike

TensorFlow 有一个单独的项目用于其生产用途,如前所述 here ,称为 TensorFlow Serving。

我应该如何在生产环境中使用 CNTK,我应该如何处理它的部署?希望可以将经过训练的模型部署到服务器/集群中,该服务器/集群使用 RPC 或 HTTP REST API 为模型提供服务。

如果不存在这样的工具,开发它的第一步应该是什么以及我自己推出一个好的架构?

最佳答案

我们确实支持在生产环境中提供 CNTK 模型。您可以找到有关模型评估/推理的信息:https://github.com/Microsoft/CNTK/wiki/CNTK-Evaluation-Overview .对于部署,您需要部署指定的 dll here .在 Azure 中部署 CNTK 的教程可用 here .

关于用于实时预测的 CNTK 部署,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42296170/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com