machine-learning - 如何配置 word2vec 不使用负采样？

Question

我想比较使用和不使用负采样训练的词嵌入。我使用谷歌word2vec工具。我将参数设置为负=-1。我认为这意味着我们不使用负采样。但是，使用负=25似乎比负=-1慢，这让我想知道负=-1真的意味着不使用负采样吗？

任何熟悉 word2vec C 实现的人都可以帮助我吗？如何使用 word2vec 工具训练模型而不进行负采样？

Answer 1

negative=0 意味着在原始的 word2vec.c 工具和一些模仿它的工具(如 Python gensim)中都没有负采样。

如果不使用负采样，则必须启用hierarchical-softmax，这是生成可反向传播的预测误差的替代方法。它由 hs=1 启用。

请注意，负采样是通常的默认设置，并且通常是大数据集/大词汇量的首选，因为它的训练性能不会因词汇量大而变慢。