python - NER(命名实体识别)文档中句子之间的相似度

Question

我一直在使用 spacy 来查找句子的 NER。我的问题是我必须计算两个不同文档的句子之间的 NER 相似度。 python 中是否有可用的公式或包？

TIA

Answer 1

我相信您在问，两个命名实体有多相似？

这并不是那么简单，因为我们必须定义“相似”的含义。

如果我们使用简单的词袋方法，当两个实体的标记相同时，它们会更加相似。

如果我们将实体标记放入集合中，计算的只是杰卡德系数。

Sim(ent1, ent2) = |ent1 ∩ ent2| / |ent1  ∪ ent2|

在 python 中是:

ent1 = set(map(str, spacy_entity1))
ent2 = set(map(str, spacy_entity2))
similarity = len(ent1 & ent2) / len(ent1 | ent2)

其中spacy_entity是spacy提取的实体之一

然后，我们只需创建一组表示实体集 ent 的字符串即可。