python - 使用 Gensim Doc2Vec 查找 'Doctag' 和 'infer_vector' 之间的距离？

Question

使用 Gensim 的 Doc2Vec 如何找到 Doctag 和 infer_vector() 之间的距离？

非常感谢

Answer 1

Doctag 是文档向量键的内部名称。 infer_vector() 运算的结果是一个向量。正如您所问的，这些是没有可比性的。

您可以通过在训练期间通过 model.docvecs[doctag] 提供的文档标签键向模型询问已知的文档向量。这与 infer_vector() 调用的结果相当。

有了两个向量，您就可以使用 scipy 例程来计算各种距离。例如:

import scipy.spatial.distance.cosine as cosine_distance
vec_by_doctag = model.docvecs["doc0007"]
vec_by_inference = model.infer_vector(['a', 'cat', 'was', 'in', 'a', 'hat'])
dist = cosine_distance(vec_by_doctag, vec_by_inference)

您还可以查看 gensim 的 Doc2VecKeyedVectors 如何在模型内已知的向量(通过其文档标签键名称)在其 similarity() 中计算相似度/距离和 distance() 函数，位于:

https://github.com/RaRe-Technologies/gensim/blob/ca0dcaa1eca8b1764f6456adac5719309e0d8e6d/gensim/models/keyedvectors.py#L1701

https://github.com/RaRe-Technologies/gensim/blob/ca0dcaa1eca8b1764f6456adac5719309e0d8e6d/gensim/models/keyedvectors.py#L1743