neural-network - 如何从 gensim word2vec 模型推断新词向量？

Question

我想使用新的文本数据集将新词添加到经过训练的 gensim word2vec 模型中。但是，我想保留旧词嵌入，只需将数据集中的新词添加到现有模型中。这意味着不能使用新文本数据集简单地重新训练旧模型，因为它会重新调整同样在新文本数据集中的先前词嵌入的向量。你能就这个任务提出任何建议吗？我想要类似 Gensim 的 doc2vec 推断功能，您可以在其中为模型提供一些文本输入，并提供一个向量作为输出。谢谢。

Answer 1

我会做以下(伪Python):

for word in new_words:
    # find words that should be nearby
    synonyms = thesaurus.lookup(word)

    # initialize an empty word vector
    new_word_embedding = np.zeros(number_of_dimensions_a_word_vector_is)

    # average the embeddings of synonyms
    for syn in synonyms:
        if w2v.get_embedding(syn):
            a = np.array(new_word_embedding, w2v.get_embedding(syn))
            new_word_embedding = np.mean(a, axis=0)