python - 调整 LSTM 模型

Question

我并构建了一个 LSTM 模型来预测给定字符序列的单词。目前，我的数据集只有大约 3k 个字母数字单词。出于某种原因，我达到了 0.84 的最大准确度，但我似乎无法超越它。我已经尝试添加额外的 LSTM 层，更改学习率和批量大小，但我无法超过 .84 的精度限制。

我正在寻找有关如何调查此问题的指导。我正计划使用 Hyperas 来调整模型。我不确定调整是否有帮助，因为我在从具有 12 个单元的 3 层 LSTM 一直到具有 24 个单元的 3 层时达到了 .84 的限制。

这是我对模型的定义:

model = Sequential()

model.add(LSTM(24, input_shape=(data.getMaxLen(), data.uniqueChars), return_sequences=True))
model.add(LSTM(24, return_sequences=True))
model.add(LSTM(24, return_sequences=True))
model.add(TimeDistributed(Dense(12)))
model.add(AveragePooling1D())
model.add(Flatten())
model.add(Dense(data.uniqueTokensCount, activation='softmax'))

optimizer = RMSprop(lr=0.0005)
model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])

history = model.fit(data.X, data.Y,
                    batch_size=data.uniqueTokensCount,
                    epochs=10000,
                    callbacks=[print_callback])

模型:3xLSTM(24 个单元)，1x 密集模型(12 个单元)，最大长度 15 模型:3xLSTM(24 个单元)，1x 密集(12 个单元)，最大长度 8 模型:3xLSTM(12 个单元)，1x 密集(6 个单元)，最大长度 8

Answer 1

尝试查看您的验证损失是多少。因此，您可能过度拟合并且没有超过 0.84。看到你的训练精度在波动，你可以尝试添加 dropouts 或者 regularizers 来防止过拟合。