python - 如何计算两个 n-gram 之间的语义相似度？

Question

我正在尝试计算两个二元词之间的语义相似度，我需要使用 fasttext 的预训练词向量来完成此任务。

例如:

b-gram 是两个元素的 Python 列表:[他的名字] 和 [我，我]

它们是两个元组，我需要通过任何必要的方式计算这两个元组之间的相似度。

我希望有一个分数可以给我一个很好的相似度近似值。例如 - 如果有方法可以告诉我 [His, name] 与 [I, am] 比 [An, apple]< 更相似.

现在我只使用余弦相似度，其中包含任何语义相似度。

Answer 1

如果您首先对二元词组中的两个词向量进行平均，余弦相似度可能会很有用。因此，您想要获取“他”和“名字”的向量，将它们平均为一个向量。然后取“I”和“am”的向量并将它们平均为一个向量。最后，计算两个结果向量的余弦相似度，它应该为您提供粗略的语义相似度。