tensorflow - 在 tf.keras.layers.Embedding 中，为什么知道字典的大小很重要？

Question

同题，在tf.keras.layers.Embedding中，为什么知道字典的大小作为输入维度很重要？

Answer 1

因为在内部，嵌入层只不过是一个大小为 vocab_size x embedding_size 的矩阵。这是一个简单的查找表:该矩阵的行 n 存储单词 n 的向量。

所以，如果你有，例如1000 个不同的单词，您的嵌入层需要知道这个数字才能存储 1000 个向量(作为矩阵)。

不要将层的内部存储与其输入或输出形状混淆。输入形状是 (batch_size, sequence_length)，其中每个条目都是 [0, vocab_size[] 范围内的整数。对于这些整数中的每一个，该层将返回内部矩阵的相应行(这是一个大小为 embedding_size 的向量)，因此输出形状变为 (batch_size, sequence_length, embedding_size).