gpt4 book ai didi

tensorflow - word2vec - 获取最近的单词

转载 作者:行者123 更新时间:2023-12-04 03:36:24 26 4
gpt4 key购买 nike

读取 tensorflow word2vec 模型输出如何输出与特定单词相关的单词?

阅读源代码:https://github.com/tensorflow/tensorflow/blob/r0.11/tensorflow/examples/tutorials/word2vec/word2vec_basic.py可以查看图像是如何绘制的。

但是是否有作为训练模型的一部分而创建的数据结构(例如字典)允许访问最接近给定单词的最近 n 个单词?
例如,如果 word2vec 生成图像:

enter image description here

图片来源:https://www.tensorflow.org/versions/r0.11/tutorials/word2vec/index.html

在这张图片中,单词 'to , he , it' 包含在同一个集群中,是否有一个函数将 'to' 作为输入并输出 'he , it'(在这种情况下 n=2)?

最佳答案

这种方法一般适用于 word2vec。如果您可以将 word2vec 保存在文本/二进制文件中,例如 google/GloVe词向量。那么您需要的只是gensim .

安装:

Via github

python 代码:

from gensim.models import Word2Vec

gmodel=Word2Vec.load_word2vec_format(fname)
ms=gmodel.most_similar('good',10)
for x in ms:
print x[0],x[1]

但是,这将搜索所有单词以给出结果,有近似最近邻 (ANN) 可以更快地为您提供结果,但会在准确性上进行权衡。

在最新的gensim中, annoy用于执行 ANN,请参阅此 notebooks了解更多信息。

Flann is another library for Approximate Nearest Neighbors.

关于tensorflow - word2vec - 获取最近的单词,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40074412/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com