Gensim Word2vec 模型参数调优

Question

我正在研究 Word2Vec 模型。有什么方法可以为其参数之一获得理想值，即 iter。就像我们在 K-Means(Elbo 曲线图)中使用的方法来获取 K 值。或者是否有任何其他方法可以在此模型上进行参数调整。

Answer 1

word2vec session 没有一组理想的参数——这取决于您对词向量的预期用途。

例如，一些研究表明，使用较大的 window 倾向于以对主题/领域相似性更敏感的方式定位最终向量，而使用较小的 window value 将单词邻域转换为更具句法/功能的相互替换。因此，根据您的特定项目目标，您可能需要不同的值。

(同样，由于最初的 word2vec 论文评估了模型，并根据词向量的有用性调整了模型元参数，以解决一组英语类比问题，因此许多人经常调整他们的模型以使其表现出色在相同的类比任务上。但我见过在这些类比中得分最高的模型在为下游分类任务做出贡献时表现更差的情况。)

因此，您真正想要的是一种特定于项目的方法来对一组与您的目标完美匹配的词向量进行评分。然后，你运行许多交替的 word2vec 训练类(class)，并选择在你的分数上表现最好的参数。

iter/epochs 的情况很特殊，因为根据底层随机梯度下降优化方法的逻辑，您最好使用许多训练时期是每个时期运行“损失”停止改善所必需的。在这一点上，考虑到其固有的自由参数和结构数量，该模型似乎已经达到了“收敛”的最佳状态。 (对某些示例进行改进的任何进一步内部调整都会对其他示例进行恶化，反之亦然。)

因此，您可能会看到这种“损失”，并选择一些刚好足以显示“损失”停滞(在狭窄的窗口中上下抖动)几次通过的训练迭代。然而，gensim 中的丢失报告还不是很理想——参见项目错误 #2617——许多 word2vec 实现，包括 gensim 和回到谷歌研究人员发布的原始 word2vec.c 代码，只让您设置固定的训练迭代次数，而不是实现任何对损失敏感的停止规则。