python - Keras 中的 LSTM 始终返回相同的输出

Question

我有一个大小为 (5358,293,30) 的数据集，我想训练一个 LSTM 网络来预测 0 到 1 之间的值。

我的神经网络定义如下:

model = Sequential()
model.add(LSTM(10, input_shape=(293, 30)))
model.add(Dense(1, activation="sigmoid"))
model.compile(loss="mean_squared_error", optimizer="adam")
model.fit(Xtrain, Ytrain, epochs=20, batch_size=38, shuffle=False)

训练期间所有 epoch 的损失值为 ~0.04。
当我在测试数据上测试神经网络时，我总是得到与结果相同的输出，~0.80。
我也尝试了更大的网络，但输出没有改变。

我使用了默认参数，并在 [0,1] 范围内缩放了数据。

导致此问题的可能原因是什么？我该如何解决？

更新:
简化版的 model.summary() 的输出:

Layer (type)                 Output Shape              Param #   
=================================================================
lstm_1 (LSTM)                (None, 10)                1640      
_________________________________________________________________
dense_1 (Dense)              (None, 1)                 11        
=================================================================
Total params: 1,651
Trainable params: 1,651
Non-trainable params: 0
_________________________________________________________________

对于完整版:

Layer (type)                 Output Shape              Param #   
=================================================================
lstm_2 (LSTM)                (None, 293, 64)           24320     
_________________________________________________________________
lstm_3 (LSTM)                (None, 64)                33024     
_________________________________________________________________
dense_2 (Dense)              (None, 64)                4160      
_________________________________________________________________
dense_3 (Dense)              (None, 1)                 65        
=================================================================
Total params: 61,569
Trainable params: 61,569
Non-trainable params: 0
_________________________________________________________________

Answer 1

如果我们假设您的模型没问题，那么您可以尝试的第一件事是增加 epochs 的数量。

epochs=20

还可以使用优化器。例如，您选择 Adam 优化器，确保您测试不同的参数:

opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)

您可以添加 model.summary()为了更好地预测您的模型。我认为提供模型摘要是了解系统的第一件事。

既然您提到了功能，那么请务必注意您如何表示它们。根据特征表示，您可能需要修改 LSTM 模型。