nlp - 'discourse vector' 在词/句子嵌入中是什么意思？

Question

当我阅读下面的论文时，我有一个问题是什么是话语向量。以及这个向量是如何组成的。

S.Arora (TACL 2016):基于 PMI 的词嵌入的潜在变量模型方法

S.Arora (ICLR 2017):一个简单但难以超越的句子嵌入基线

在这篇论文中，它说，
“话语向量代表正在谈论的内容”

但我不清楚。

总之，我的问题是

话语向量是什么意思；它是主题或上下文还是其他什么？

那么如果是这样，我们如何创建这个向量？

这个向量如何学习？或者是固定的？

Answer 1

下面是 Sanjeev Arora 的论文“词义的线性代数结构，以及对多义词的应用”中的段落。

它假设在语料库中的每个点都有一个 称为话语的微型话题(“正在谈论什么”)画出来的
来自 ℜd 中的单位向量的连续统。模型的参数包括每个词 w 的向量 Vw ∈ ℜd。每个话语 'c' 定义了词 Pr[w | 的分布。 c] ∝ exp(c·Vw)。该模型假设语料库是由 c 在 ℜd 中的单位球体上缓慢几何随机游走生成的:当游走在 c 处时，i.i.d 会发出几个词。来自分布 (2) 的样本，由于其对数线性形式，强烈支持在余弦相似度中接近 c 的单词。

每个话语都是话题。作者已将论文中的主题固定为 2000。

修复话语向量的一种方法可能是将相邻词向量的简单平均值作为估计值 (MLE)。
这种朴素的句子嵌入可以通过对相邻单词进行加权组合(通常是 tf-idf)来改进。

论文在窗口中使用词嵌入的加权平均值，对更频繁的词(让人想起 tf-idf)使用较小的权重，称为 SIF 嵌入，以更好地估计话语。