keras - Keras 中的嵌入是什么？

Question

Keras 文档并不清楚这实际上是什么。我知道我们可以用它来将输入特征空间压缩成更小的空间。但从神经设计的角度来看，这是如何完成的呢？它是一个自动编码器，RBM吗？

Answer 1

据我所知，嵌入层是一个简单的矩阵乘法，它将单词转换为其相应的单词嵌入。

嵌入层的权重的形状为(vocabulary_size, embedding_dimension)。对于每个训练样本，其输入都是整数，代表某些单词。整数在词汇表大小的范围内。嵌入层将每个整数 i 转换为嵌入权重矩阵的第 i 行。

为了快速执行矩阵乘法，输入整数不存储为整数列表，而是存储为独热矩阵。因此，输入形状为 (nb_words,vocabulary_size)，每行有一个非零值。如果将其乘以嵌入权重，则会得到形状的输出

(nb_words, vocab_size) x (vocab_size, embedding_dim) = (nb_words, embedding_dim)

因此，通过简单的矩阵乘法，您可以将样本中的所有单词转换为相应的单词嵌入。