python - 如何从 gensim word2vec 中提取矩阵 WI 和 WO？

Question

CBOW word2vec 方案如下所示:

如何从 gensim.models.word2vec.Word2Vec 中提取矩阵 WI 和 WO？我在 gensim w2v 模型中只找到了这些字段:

gensim.models.word2vec.Word2Vec.trainables.syn1neg

和

gensim.models.word2vec.Word2Vec.vw.syn1neg.vectors

我可以假设 syn1neg 是 WI，并且 WO = vectors - syn1neg 吗？

为什么是这个代码

sentences = [['car', 'tree', 'chip2'], ['chip1', 'sugar']]
model = Word2Vec(sentences, min_count=1, size = 5)

给出只有零元素的 Word2Vec.trainables.syn1neg 矩阵？

对于 30MB 数据集 Word2Vec.trainables.syn1neg 矩阵也只包含零元素，日志在这里:

gensim log

Answer 1

w2v_model.wv.vectors 是以前称为“syn0”的东西，用作“投影权重”，本质上将单热字编码映射到 N 维度。在您的图表中，这是WI。

w2v_model.trainables.syn1neg 是负采样模式的隐藏到输出权重，您的图表标记为 WO。