gpt4 book ai didi

python - 如何在 doc2vec 模型中使用预训练的 word2vec 向量?

转载 作者:行者123 更新时间:2023-11-30 09:44:06 36 4
gpt4 key购买 nike

我正在尝试实现 doc2vec,但我不确定如果我有预训练的 word2vec 向量,模型的输入应该是什么样子。

问题是,我不确定理论上如何将预训练的 word2vec 向量用于 doc2vec。我想,我可以用向量预填充隐藏层,然后用随机数填充隐藏层的其余部分

另一个想法是使用向量作为单词的输入而不是单热编码,但我不确定文档的输出向量是否有意义。

感谢您的回答!

最佳答案

您可能认为 Doc2Vec(又名 Mikolov/Le 的“段落向量”算法)需要词向量作为第一步。这是一个普遍的信念,也许有些直观,类似于人类学习新语言的方式:先理解较小的单位,然后再理解较大的单位,然后从较小的单位组成较大的单位。

但这是一个常见的误解,而 Doc2Vec 并没有这样做。

一种模式,纯 PV-DBOW(gensim 中的dm=0),根本不使用传统的每字输入向量。而且,这种模式通常是训练速度最快、表现最好的选项之一。

另一种模式,PV-DM(gensim 中的dm=1,默认)确实利用相邻的词向量,并以类似于 word2vec 的 CBOW 模式的方式与文档向量结合使用– 但它需要的任何词向量都将与文档向量同时进行训练。它们没有在单独的步骤中首先进行训练,因此没有一个简单的拼接点可以让您从其他地方提供词向量。

(您可以将skip-gram单词训练混合到PV-DBOW中,并在gensim中使用dbow_words=1,但这将在交错的共享模型过程中从头开始训练单词向量.)

在某种程度上,您可以使用来自其他地方的词向量预先播种模型,但它不一定会改善结果:它很容易使它们的质量出现偏差或更糟。在一些幸运的管理良好的情况下,它可能会加速模型收敛,或者是一种强制向量空间与早期向量集兼容的方法,但并非没有额外的陷阱和警告。原始算法或详细描述的实践的一部分。

关于python - 如何在 doc2vec 模型中使用预训练的 word2vec 向量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54762478/

36 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com