python - 使用 python nltk 查找两个网页之间的相似性？

Question

我想找出两个网页是否相似。有人可以建议具有 wordnet 相似函数的 python nltk 是否有帮助以及如何？在这种情况下使用的最佳相似度函数是什么？

Answer 1

spotsigs joyceschan 提到的论文解决了内容重复检测问题，其中包含大量值得深思的内容。

如果您正在寻找关键术语的快速比较，nltk 标准函数可能就足够了。

使用 nltk，您可以通过查找包含在 WordNet

中的 synsets 来提取术语的同义词

>>> from nltk.corpus import wordnet

>>> wordnet.synsets('donation')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

>>> wordnet.synsets('donations')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

它理解复数，它还告诉你同义词对应的词性

Synsets 存储在一棵树中，叶子上有更具体的术语，根部有更通用的术语。词根称为上位词

您可以通过术语与常见上位词的接近程度来衡量相似度

注意不同的词性，根据 NLTK 食谱，它们没有重叠路径，因此您不应尝试测量它们之间的相似性。

比如说，你有两个词 donation 和 gift，你可以从 synsets 中得到它们，但在这个例子中我直接初始化了它们:

>>> d = wordnet.synset('donation.n.01')
>>> g = wordnet.synset('gift.n.01')

cookbook推荐Wu-Palmer Similarity method

>>> d.wup_similarity(g)
0.93333333333333335

此方法可让您快速确定所使用的术语是否与相关概念相对应。看看Natural Language Processing with Python看看您还能做些什么来帮助您分析文本。