nlp - tsne 和 word2vec 有什么关系？

Question

据我所知，tsne 是对词向量进行降维。

Word2vec 是生成海量数据的词嵌入模型。

两者是什么关系？

Word2vec里面用的是tsne吗？

(我使用 Gensim 的 Word2vec)

Answer 1

在内部，它们都使用梯度下降 来达到最终的优化状态。两者都可以被认为是降维操作。但是，word2vec 并不在内部使用 t-SNE(反之亦然)。

t-SNE(“t 分布随机邻域嵌入”)通常将多维数据减少到 2 维或 3 维，以便绘制可视化图。它涉及学习从原始维度到较少维度的映射，这仍然使相似点彼此靠近。

word2vec 采用许多文本示例并学习一个浅层神经网络，该网络擅长根据附近的词预测词。该神经网络权重的特定层(代表单个单词)然后成为学习的 N 维单词向量，N 的值通常为 100 到 600。

(有另一种方法可以创建名为 GLoVE 的词向量，它的工作方式有点像 t-SNE，因为它直接从词的高维共现矩阵进行训练，而不是而不是来自许多上下文共现的例子。但它仍然不是 t-SNE 本身。)

您可能会运行目标维度为 100-400 的 t-SNE。但由于该最终结果还不会产生漂亮的情节，因此对 t-SNE 至关重要的“接近度”的维护不会带来其通常的预期好处。

您可以学习仅 2 维或 3 维的 word2vec(或 GLoVE)向量，但人们从词向量中寻求的大多数有用的相似性/排列都会在拥挤中丢失。在图中，您可能看不到相关词类别的强烈视觉“聚集”，因为未应用 t-SNE 特定的高到低维度接近度保持目标。