gpt4 book ai didi

python - 将模型编译为可执行文件以加快推理速度?

转载 作者:太空宇宙 更新时间:2023-11-04 02:42:08 25 4
gpt4 key购买 nike

有没有办法用我训练好的模型编译整个 Python 脚本以加快推理速度?似乎加载 Python 解释器、所有 Tensorflow、numpy 等都需要花费大量时间。当这必须发生在响应非常频繁的请求的服务器上时,它看起来很慢。

编辑

我知道我可以使用 Tensorflow serving,但我不想这样做,因为相关的成本。

最佳答案

如何设置服务器?如果您使用 python 框架(如 django、flask 或 tornado)设置服务器,则只需预加载模型并将其保存为全局变量,然后使用此全局变量进行预测。

如果您使用的是其他服务器。您还可以将用于预测的整个 python 脚本作为本地服务器,并在 python 服务器和 Web 服务器之间转换请求或响应。​​

关于python - 将模型编译为可执行文件以加快推理速度?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46187056/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com