gensim - gensim中word2vec的准确性测试

Question

我目前正在使用gensim来重现Google提供的示例的结果。 here

问题是gensim的准确性测试与Google的结果不符。

例如Google的capital-common-countries准确率为82.02%，不同参数集下gensim的最佳结果为64.4%。这里有一个很大的差距。

这是使用 gensim 训练 word2vec 和准确性的代码片段

sentences = word2vec.Text8Corpus('./text8')
model = word2vec.Word2Vec(sentences, size=200, workers=12, min_count=5, sg=0, window=8, iter=15, sample=1e-4, negative=25)
model.accuracy("./questions-words.txt")[enter image description here][2]

Google 演示的代码片段，未更改任何参数

 ./demo-word-accuracy.sh

Accuracy comparison detail

有人可以帮忙吗？

Answer 1

尝试 alpha=0.05 和 cbow_mean=1。在 CBOW 模式下，word2vec.c 代码会自动切换到起始默认值，但 gensim 不会。为了减少困惑的来源，gensim 将来可能会更紧密地匹配 word2vec.c 默认值:https://github.com/piskvorky/gensim/issues/534