python - 在 Heroku 应用程序上安装 spacy en_core_web_lg 时出错

Question

我正在使用 Django 在 Heroku 上部署我的 ML 模型，我的应用程序需要 en_core_web_lg 但无法安装

我的 requirements.txt 是这样的:

..
..
djangorestframework==3.12.2
en-core-web-lg==2.3.1
en-core-web-sm==2.3.1
gunicorn==20.0.4
heroku==0.1.4
..

错误是:

 ERROR: Could not find a version that satisfies the requirement en-core-web-lg==2.3.1 (from -r /tmp/build_c3075f3c_/requirements.txt (line 14)) (from versions: none)
       ERROR: No matching distribution found for en-core-web-lg==2.3.1 (from -r /tmp/build_c3075f3c_/requirements.txt (line 14))
 !     Push rejected, failed to compile Python app.
 !     Push failed

Answer 1

你的错误是因为没有名为en-core-web-lg 的pip 库.请记住，您不能输入 en-core-web-lg在requirements.txt因为它不是您可以使用 pip 安装的库.它们是 spacy 使用的模型。

接受的答案很好。但是，如果你想要一个完整的自动部署，你也可以在你的代码中添加这样的东西:

    try:
        nlp = spacy.load("en_core_web_md")
    except: # If not present, we download
        spacy.cli.download("en_core_web_md")
        nlp = spacy.load("en_core_web_md")

如果模型不存在，这将自动下载模型。而且，它不需要您使用 Heroku 终端。只有spacy在 requirements.txt 上文件将是必要的。

最后，请记住 spacy 模型是加载到内存 (RAM) 中的。 lg模型(约 700MB)太大，无法安装在免费、业余爱好或标准 1X dynos(512MB RAM)中。因此它将无法加载并且测功机将被 R15 ( https://devcenter.heroku.com/articles/error-codes#r15-memory-quota-vastly-exceeded ) 杀死。

有关测功机的更多信息:https://www.heroku.com/dynos