python - 通过寻找单词的线性代数结构来评估 Glove 模型

Question

我已经在我的文本语料库上使用 C 应用程序按照此实现构建了 Glove 模型 https://github.com/stanfordnlp/GloVe/tree/master/src 。我想以这样的方式找到词嵌入

If A is related to B and C is related to D, then A-C+B should be equal to D. For example, embedding vector arithmetic of "Australia"-"Canberra"+"India" should be equal to the embedding of "New Delhi".

我想在 python 中评估这些嵌入。

Answer 1

任何A B C D的评估步骤:

1. 使用 D' = A-C+B 计算 D' 的向量表示。
2. 对于训练好的GloV中的所有词向量v，计算v与D'的余弦相似度。
3. 检查与 D' 最相似的向量是否实际上是单词 D。

这样的结果可以被认为是@top1，就像信息检索的评估一样。您可以更改第三步以获取@top k。