nlp - 如何评估Word2Vec的性能？

Question

我想知道一种有效的方法来评估我的 word2Vec 模型性能，以便我可以正确调整我的超参数。

例如，如果我要使用监督学习进行文档分类，模型性能评估很容易，因为我只需将预测标签与测试数据集的预定义标签进行比较即可。

但我不知道如何使用 Word2Vec 来做到这一点。任何人都可以解释如何使用代码来完成此操作，或提供指向执行此操作的页面的链接吗？

请不要添加论文链接...我真的厌倦了阅读困难的论文。

Answer 1

评估应始终与任务相关。因此，如果您有一个想要使用 word2vec 解决的特定任务，您应该评估该任务的嵌入。

一般来说，有一些基准任务可以进行更一般的词表示评估，你可以尝试word-embeddings-benchmarks探索多个任务的嵌入，包括语义相似性或情感分类。然后，您可以将您的数字与 more less standard methods 的性能进行比较。 。如果您对句子级别的表示属性(例如整个句子的平均向量)更感兴趣，您可以尝试 SentEval .