python - word2vec - 什么是最好的？添加、连接或平均词向量？

Question

我正在研究循环语言模型。为了学习可用于初始化我的语言模型的词嵌入，我使用了 gensim 的 word2vec 模型。训练后，word2vec 模型为词汇表中的每个词保留两个向量:词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列)。

如 this post 中所述至少有三种常见的方式来组合这两个嵌入向量:

1. 总结每个词的上下文和词向量
2. 求和和平均
3. 连接上下文和词向量

但是，我找不到关于最佳策略的合适论文或报告。所以我的问题是:

1. 是否有一个通用的解决方案，无论是求和、平均还是连接向量？
2. 或者最好的方法是否完全取决于所讨论的任务？如果是这样，哪种策略最适合词级语言模型？
3. 为什么要组合向量？为什么不为每个词使用“原始”词嵌入，即包含在输入和隐藏神经元之间的权重矩阵中的词嵌入。

相关(但未回答)的问题:

• word2vec: Summing/concatenate inside and outside vector
• why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?

Answer 1

我在斯坦福讲座“自然语言处理的深度学习”(第 2 课，2016 年 3 月)中找到了答案。可用here .在第 46 分钟，Richard Socher 指出，常用的方法是对两个词向量进行平均。