python - 如何使用预训练的模型权重初始化新的 word2vec 模型？

Question

我正在 python 中使用 Gensim 库来使用和训练 word2vector 模型。最近，我正在考虑使用一些预训练的 word2vec 模型(例如(GoogleNewDataset 预训练模型))来初始化模型权重。我已经为此苦苦挣扎了几个星期。现在，我刚刚发现在 gesim 中有一个函数可以帮助我使用预先训练的模型权重来初始化模型的权重。下面提到:

reset_from(other_model)

    Borrow shareable pre-built structures (like vocab) from the other_model. Useful if testing multiple models in parallel on the same corpus.

我不知道这个函数是否可以做同样的事情。请帮忙!!!

Answer 1

您现在可以使用 gensim 进行增量训练。我建议加载预训练模型，然后进行更新。

from gensim.models import Word2Vec

model = Word2Vec.load('pretrained_model.emb')
model.build_vocab(new_sentences, update=True)
model.train(new_sentences)