machine-learning - 使用负采样实现 word2vec

Question

我正在尝试使用skip-gram 实现word2vec 的前向和反向传播。我是神经网络的新手，但根据我的理解，它是这样的:

1. 对输入向量和随机初始化权重矩阵进行点积
2. 激活(Sigmoid 还是 Softmax？)
3. 取激活的隐藏层和另一个随机初始化权重矩阵的点积
4. 激活(Sigmoid 还是 Softmax？)
5. 我们以某种方式比较第 4 步后获得的输出，并计算相对于矩阵中每个权重的误差导数(目标输出)。我们从当前权重中减去导数。我们对输出隐藏层和隐藏输入层都执行此操作。我们会这样做很多次，直到我们足够好为止。

以上如有错误，请指正。

现在我的问题是:

1. 正确的skip-gram和负样本的目标应该是什么？它们分别是1和0吗？或者它应该是skip-gram 的上下文？我真的不确定。

2. 损失该如何计算？

谢谢。

Answer 1

我不知道这是否是您问题的答案，但它是为了完成您的问题(我确信!)。我不认为在第二步中我们使用 sigmoid 或 softmax 函数，因为第一个点项目仅用于从矩阵 W(第一个矩阵)中提取目标单词的向量。请看这些:

http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

这本书这一章的16.2节，对我来说非常非常非常有帮助 https://web.stanford.edu/~jurafsky/slp3/16.pdf