python - 如何在 Flask 中缓存大型机器学习模型？

Question

这是我面临的情况:

我刚刚编写了一个 Flask 应用程序，人们可以输入他们想要的文本评论，我的应用程序会从我们的数据集中返回最相似的评论。所以基本上这是一个 NLP 项目，机器学习模型已经训练好了。现在的问题是该模型大约有 2.5GB，每次用户输入内容时，它都会加载该模型进行一些计算。

我对机器学习的东西没问题，但在网络开发领域是个新手。经过一番谷歌搜索后，我发现 Flask 中的缓存可能是解决方案，我尝试按照本教程进行操作 http://brunorocha.org/python/flask/using-flask-cache.html

但是，我没有实现它。谁能给我一些关于正确方法的建议。如果 Flask 缓存是“最佳”解决方案，我会继续研究这些东西并希望我能做到。

Answer 1

我会建议您在运行应用程序时加载一次模型。只需在主函数中加载模型即可完成。第一次加载您的应用程序需要一些时间，但每次调用预测 API 时它会更快。

@app.route('/predict', methods=['POST', 'OPTIONS']) 
def predict(tokenized):
     global model
     "do something"
     return jsonify(result)

 if __name__ == '__main__':
    model = load_model('/model/files/model.h5')
    app.run(host='0.0.0.0', port=5000)