python - 在python中计算单词相似度分数

Question

我正在尝试通过比较主题列表来计算书籍的相似度。

需要从 0-1 之间的 2 个列表中获得相似度分数。

例子:

book1_topics = ["god", "bible", "book", "holy", "religion", "Christian"]

book2_topics = ["god", "Christ", "idol", "Jesus"]

尝试使用 wordnet 但不确定如何计算分数。

有什么建议吗？

Answer 1

我建议使用 spaCy , 一个 Python nlp 库

import spacy

book1_topics = ['god', 'bible', 'book', 'holy', 'religion', 'Christian']
book2_topics = ['god', 'Christ', 'idol', 'Jesus']

nlp = spacy.load('en_core_web_md')
doc1 = nlp(' '.join(book1_topics))
doc2 = nlp(' '.join(book2_topics))

print(doc1.similarity(doc2))

输出:

0.822639616995468

注意事项

您可能想要安装 spacy:

pip3 install spacy

和模型:

python3 -m spacy download en_core_web_md