machine-learning - 加权词嵌入是什么意思？

Question

在 paper我正在努力实现，它说，

In this work, tweets were modeled using three types of text representation. The first one is a bag-of-words model weighted by tf-idf (term frequency - inverse document frequency) (Section 2.1.1). The second represents a sentence by averaging the word embeddings of all words (in the sentence) and the third represents a sentence by averaging the weighted word embeddings of all words, the weight of a word is given by tf-idf (Section 2.1.2).

我不确定第三种表示形式，它被提到为使用 tf-idf 给出的单词权重的加权单词嵌入。我什至不确定它们是否可以一起使用。

Answer 1

词嵌入的平均(可能是加权)是有意义的，尽管根据主要算法和训练数据，这个句子表示可能不是最好的。直觉如下:

• 您可能想要处理不同长度的句子，因此需要求平均值(比简单求和更好)。
• 句子中的某些单词通常比其他单词更有值(value)。 TF-IDF 是最简单的词值度量。请注意，结果的比例不会改变。

另请参阅this paper by Kenter et al 。有一个nice post在不同的算法中对这两种方法进行了比较，并得出结论，没有一种方法明显优于另一种:一些算法倾向于简单平均，一些算法使用 TF-IDF 加权表现更好。