machine-learning - Glove 和 word2vec 之间的主要区别是什么？

Question

word2vec 和手套有什么区别？这两种方法都是训练词嵌入的吗？如果是，那么我们如何同时使用两者？

Answer 1

是的，它们都是训练词嵌入的方法。它们都提供相同的核心输出:每个单词一个向量，并且向量以有用的排列方式。也就是说，向量的相对距离/方向大致对应于人类对整体单词相关性的看法，甚至符合某些显着语义维度的相关性。

Word2Vec 通过重复迭代训练语料库来对神经网络进行增量、“稀疏”训练。

GloVe 致力于拟合向量来对从语料库构建的巨大单词共现矩阵进行建模。

使用相同的语料库，创建相同维度的词向量，并对元优化投入相同的注意力，所得到的词向量的质量将大致相似。 (当我看到有人自信地声称其中一个肯定更好时，他们经常将一种算法的一些调整/最佳情况使用与另一种算法的一些粗略/任意默认值进行比较。)

我对 Word2Vec 更熟悉，我的印象是 Word2Vec 的训练可以更好地扩展到更大的词汇表，并且具有更多可调整的设置，如果您有时间，可能可以让您自己训练的词向量更适合您的特定情况应用。 (例如，使用小与大的 window 参数可以对单词的最近邻居是否是“直接替换单词”或更普遍的单词中使用的单词产生强烈影响。 -相同的主题。不同的下游应用程序可能更喜欢以一种或另一种方式倾斜的词向量。)

相反，GLoVe 的一些支持者声称它在不需要元参数优化的情况下表现得相当好。

您可能不会同时使用两者，除非将它们相互比较，因为它们对于词向量的任何下游应用程序都起着相同的作用。