python - 用于 Python 的轻量级 NLP 框架

Question

我目前正在使用 spaCy 来确定两个字符串之间的语义相似性。它运行良好，只需要几行代码，所有的跑腿工作都在幕后完成:

>>> import spacy
>>> nlp = spacy.load('en')
>>> nlp('string').similarity(nlp('another string'))
0.796

但是它需要大约 600mb 的模块数据。由于我在 Heroku 上托管，这远远超过了可用的 slug 大小。我正在寻找其他托管替代方案，但我可以使用其他框架吗？我不需要 spacy 的“工业实力”，但其他框架似乎效果不佳/实现起来不那么快。

Answer 1

spaCy models, as of v1.7.0, can be installed as Python packages. This means that they're a component of your application, just like any other module.

这是最近于 2017 年 3 月 20 日推出的 50 MB 模型:

en_core_web_sm 50 MB Vocab, syntax, entities, word vectors

您在网页中有更多详细信息 https://spacy.io/docs/usage/models