keras - 嵌入 vs 将词向量直接插入输入层

Question

我使用 gensim 构建了我的语料库的 word2vec 嵌入。目前我正在使用 gensim 模型将我的(填充的)输入句子转换为词向量。该向量用作模型的输入。

model = Sequential()
model.add(Masking(mask_value=0.0, input_shape=(MAX_SEQUENCE_LENGTH, dim)))
model.add(Bidirectional(
    LSTM(num_lstm, dropout=0.5, recurrent_dropout=0.4, return_sequences=True))
)
...
model.fit(training_sentences_vectors, training_labels, validation_data=validation_data)

没有keras嵌入层直接使用词向量有什么缺点吗？

我目前还在通过将输入标记连接到每个词向量来向输入标记添加额外的(单热编码)标签，这种方法有意义吗？

Answer 1

在您当前的设置中，缺点是您将无法将您的词向量设置为可训练的。您将无法针对您的任务微调模型。

我的意思是Gensim只学习了“语言模型”。它了解您的语料库及其内容。但是，它不知道如何针对您使用 keras 的任何下游任务进行优化。您的模型的权重将有助于微调您的模型，但是如果您从 gensim 中提取嵌入，使用它们来初始化 keras 嵌入层，然后为您的输入层传入索引而不是词向量，您可能会体验到性能的提高.