nlp - 为什么我们使用输入隐藏权重矩阵而不是隐藏输出权重矩阵作为词向量？

Question

在word2vec中，经过训练，我们得到两个权重矩阵:1.输入隐藏权重矩阵； 2.隐藏输出权重矩阵。人们会使用输入隐藏权重矩阵作为词向量(每一行对应一个词，即词向量)。这是我的困惑:

1. 为什么人们使用输入隐藏权重矩阵而不是隐藏输出权重矩阵作为词向量。
2. 为什么我们不直接将 softmax 激活函数添加到隐藏层而不是输出层，从而避免耗时。

另外，如果能澄清关于如何像这样获得词向量的直觉的评论，我们将不胜感激。

Answer 1

关于输入隐藏权重矩阵和隐藏输出权重矩阵这两个矩阵，有一篇有趣的研究论文。“用于文档排名的双嵌入空间模型”，Mitra 等人，arXiv 2016。(https://arxiv.org/pdf/1602.01137.pdf)。与你的问题类似，本文研究了这两个权重矩阵的不同之处，并声称它们编码了不同的单词特征。

总的来说，根据我的理解，您可以选择使用输入隐藏权重矩阵(约定)、隐藏输出权重矩阵或组合矩阵作为词嵌入，具体取决于您的数据和要解决的问题。