nlp - 句子编码和上下文词嵌入有什么区别？

Question

我在阅读有关 BERT 和 ELMo 的论文时看到了这两个术语，所以我想知道它们之间是否有区别。

Answer 1

A 语境词嵌入 是表示特定上下文中的单词的向量。传统的词嵌入(如 Word2Vec 和 GloVe)为每个词生成一个向量，而上下文化的词嵌入根据上下文为一个词生成一个向量。考虑句子 The duck is swimming和 You shall duck when someone shoots at you .使用传统的词嵌入，duck 的词向量在两个句子中都是一样的，而在上下文化的情况下应该是不同的。

虽然词嵌入将词编码为向量表示，但也存在如何以计算机可以轻松处理的方式表示整个句子的问题。这些 句子编码 可以将整个句子嵌入为一个向量，例如 doc2vec，它为一个句子生成一个向量。但 BERT 也会为整个句子生成一个表示，即 [CLS] token 。

简而言之，上下文化的词嵌入表示上下文中的单词，而句子编码表示整个句子。