python - 负采样中排除正样本

Question

我正在读几本 Skipgram Negative Sampling codes such as this one in Github 并开始好奇如何在采样的负样本中排除正样本，因为代码似乎没有正确执行此操作。据我了解，原来的paper说负采样是对一些不相关的单词进行采样并最小化它们的可能性。难道我们不需要严格排除负样本中挑选出的正样本吗？我想我们还得进一步检查负样本中是否包含正样本中的样本。

如有错误，请指正。

Answer 1

理论上你是对的。但是:

1. 检查否定词是否没有出现在实际上下文中的计算成本很高。您必须遍历整个语料库进行检查(或者拥有有助于此类检查的数据结构)。 Skipgram 模型的重点是加快训练速度。
2. 这实际上不会成为问题，因为它不会经常发生，即使发生一两次也不会造成太大危害。

所以这更多是一个措辞的问题。负样本实际上并不是负样本，而是随机的。