nlp - 当使用点积相似度进行训练时，为什么在 Word2Vec 中使用余弦相似度

Question

根据我在 stackoverflow 上找到的几篇文章(例如这个 Why does word2Vec use cosine similarity? )，在我们训练完 word2vec(CBOW 或 Skip-gram)模型后计算两个词向量之间的余弦相似度是常见的做法。然而，这对我来说似乎有点奇怪，因为该模型实际上是使用点积作为相似性分数进行训练的。证明这一点的一个证据是，我们训练后得到的词向量的范数实际上是有意义的。那么为什么人们在计算两个单词之间的相似度时仍然使用余弦相似度而不是点积呢？

Answer 1

余弦相似度和点积都是相似性度量，但点积对大小敏感，而余弦相似度则不然。根据一个单词的出现次数，它可能与另一个单词有大或小的点积。我们通常对向量进行归一化以防止这种影响，因此所有向量都具有单位大小。但是，如果您的特定下游任务需要出现次数作为特征，那么点积可能是正确的选择，但如果您不关心计数，那么您可以简单地计算余弦相似度，从而将它们标准化。