word2vec - 为什么skipgram模型比CBOW花费更多时间

Question

为什么skipgram模型比CBOW模型花费更多时间。我使用相同的参数(向量大小和窗口大小)训练模型。

Answer 1

skip-gram 方法涉及更多计算。

具体来说，考虑一个“目标单词”，其两侧都有 4 个单词的上下文窗口。

在 CBOW 中，所有 8 个附近单词的向量被平均在一起，然后用作算法预测神经网络的输入。网络向前运行，并检查其预测目标词是否成功。然后发生反向传播:所有神经网络连接值(包括 8 个贡献词向量)都会被微调，以使预测稍微好一些。

但请注意，8 个单词窗口和一个目标单词仅需要一次前向传播和一次后向传播，以及初始的 8 个值的平均和最终的分布8 向量纠错都是相对快速/简单的操作。

现在考虑使用skip-gram。 8 个上下文窗口单词中的每一个都依次单独提供为神经网络的输入，向前检查目标单词的预测效果，然后向后校正。尽管未完成平均/分割，但神经网络运算量增加了 8 倍。因此，需要更多的网络计算和更多的运行时间。

请注意，通过提高最终评估的矢量质量，额外的努力/时间可能会得到返回。是否以及程度取决于您的具体目标和语料库。