python - Keras 嵌入层输入形状的困惑

Question

我正在尝试使用 Keras 嵌入层创建我自己的 CBoW 实现，看看它是如何工作的。

我生成了由我正在搜索的上下文单词向量表示的输出，其大小等于我的词汇表。我还生成了输入，以便每个上下文单词都有 X 个由其 one-hot 编码向量表示的附近单词。

例如，如果我的句子是:

"I ran over the fence to find my dog"

使用窗口大小 2，我可以生成以下输入/输出:

[[over, the, to, find], fence] 其中“fence”是我的上下文单词，“over”、“the”、“to”、“find”是窗口 2 附近的单词(2 in前面，后面 2 个)。

使用 500 个样本词汇量和 100 个训练样本，对输入和输出进行 one-hot 编码后，它将具有以下维度:

y.shape -> (100,500)
X.shape -> (100,4,500)

也就是说，我有 100 个输出，每个输出由一个 500 大小的向量表示。我有 100 个输入，每个输入由一系列 4 500 大小的向量表示。

我有一个简单的模型定义为:

model = Sequential()
model.add(Embedding(input_dim=vocabulary_size, output_dim=embedding_size, input_length=2*window_size))
#take average of context words at hidden layer
model.add(Lambda(lambda x: K.mean(x, axis = 1), output_shape=(embedding_size,)))
model.add(Dense(vocabulary_size, activation='softmax'))
model.compile(loss = 'categorical_crossentropy', optimizer = 'adam')

但是，当我尝试拟合模型时，出现尺寸异常:

model.fit(X, y, batch_size=10, epochs=2, verbose=1)
ValueError: Error when checking input: expected embedding_6_input to have 2 dimensions, but got array with shape (100, 4, 500)

现在，我只能假设我错误地使用了嵌入层。我读过这两个CrossValidated Question和 Keras documentation .

我仍然不确定这个嵌入层的输入到底是如何工作的。我相当确定我的 input_dim 和 output_dim 是正确的，剩下 input_length。根据 CrossValidated，我的 input_length 是我的序列的长度。根据 Keras 的说法，我的输入尺寸应为 (batch_size, input_length)。

如果我的输入是 4 个单词，每个单词由大小为 vocab_size 的单词向量表示，我如何将其输入到模型中？

Answer 1

问题在于您以错误的方式思考嵌入层。嵌入层只是一个可训练的查找表:你给它一个整数，它是词汇表中单词的索引，它返回单词向量(即单词嵌入)给定索引。因此，它的输入必须是句子中单词的索引。

举个例子，如果单词“over”、“the”、“to”和“find”的索引分别是43、6、9和33，那么嵌入层的输入将是一个数组这些索引，即 [43, 6, 9, 33]。因此，训练数据的形状必须为(num_samples, num_words_in_a_sentence)。在您的情况下，它将是 (100, 4)。换句话说，您不需要对输入数据的单词进行一次性编码。如果您使用 sparse_categorical_crossentropy 作为损失函数，您也可以使用单词索引作为标签。