python - Heroku:部署深度学习模型

Question

我使用 Flask 开发了一个 rest API 来公开 Python Keras 深度学习模型(用于文本分类的 CNN)。我有一个非常简单的脚本，可以将模型加载到内存中并输出给定​​文本输入的类别概率。 API 在本地完美运行。

但是，当我 git push heroku master 时，我得到 Compiled slug size: 588.2M is too large (max is 500M)。该模型的大小为 83MB，对于深度学习模型来说相当小。值得注意的依赖项包括 Keras 及其 tensorflow 后端。

我知道您可以在 Heroku 上使用 GB 的 RAM 和磁盘空间。但瓶颈似乎是 slug 的大小。有没有办法规避这个？还是 Heroku 不是部署深度学习模型的正确工具？

Answer 1

Heroku 是一个非常适合部署您的应用程序的云平台，但如果您有深度学习模型，即需要使用大型 CNN/深度学习模型进行预测的应用程序，则此云平台不适合。您可以尝试其他云平台，例如 AWS、Amazon Sagemaker、MS Azure、IBM Watson。

我遇到了同样的问题，在花了几天时间后我才知道是 tensorflow 库导致​​了这个 slug 开销。

我使用 requirements.txt 文件中的 1 行解决了这个问题:

tensorflow-cpu==2.5.0

代替

tensorflow==2.5.0

您可以使用任何更新的 tensorflow 库版本。阅读有关 tensorflow-cpu 的更多信息 here