gpt4 book ai didi

python - 验证损失低于训练损失训练 LSTM

转载 作者:行者123 更新时间:2023-11-28 16:57:57 24 4
gpt4 key购买 nike

我正在使用 tensorflow 中的 tf.learn 训练 LSTM。为此,我将数据分为训练 (90%) 和验证 (10%)。据我了解,模型通常比验证数据更适合训练数据,但我得到相反的结果。验证集的损失更低,准确率更高。

正如我在其他答案中所读到的,这可能是因为在验证期间未应用 dropout。然而,当我从我的 LSTM 架构中删除 dropout 时,我的验证损失仍然低于训练损失(尽管差异更小)。

此外,每个时期结束时显示的损失不是每批损失的平均值(就像使用 Keras 时一样)。这是他上一批的损失。我还认为这可能是导致我的结果的一个原因,但事实证明并非如此。

Training samples: 783
Validation samples: 87
--
Training Step: 4 | total loss: 1.08214 | time: 1.327s
| Adam | epoch: 001 | loss: 1.08214 - acc: 0.7549 | val_loss: 0.53043 - val_acc: 0.9885 -- iter: 783/783
--
Training Step: 8 | total loss: 0.41462 | time: 1.117s
| Adam | epoch: 002 | loss: 0.41462 - acc: 0.9759 | val_loss: 0.17027 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 12 | total loss: 0.15111 | time: 1.124s
| Adam | epoch: 003 | loss: 0.15111 - acc: 0.9984 | val_loss: 0.07488 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 16 | total loss: 0.10145 | time: 1.114s
| Adam | epoch: 004 | loss: 0.10145 - acc: 0.9950 | val_loss: 0.04173 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 20 | total loss: 0.26568 | time: 1.124s
| Adam | epoch: 005 | loss: 0.26568 - acc: 0.9615 | val_loss: 0.03077 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 24 | total loss: 0.11023 | time: 1.129s
| Adam | epoch: 006 | loss: 0.11023 - acc: 0.9863 | val_loss: 0.02607 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 28 | total loss: 0.07059 | time: 1.141s
| Adam | epoch: 007 | loss: 0.07059 - acc: 0.9934 | val_loss: 0.01882 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 32 | total loss: 0.03571 | time: 1.122s
| Adam | epoch: 008 | loss: 0.03571 - acc: 0.9977 | val_loss: 0.01524 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 36 | total loss: 0.05084 | time: 1.120s
| Adam | epoch: 009 | loss: 0.05084 - acc: 0.9948 | val_loss: 0.01384 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 40 | total loss: 0.22283 | time: 1.132s
| Adam | epoch: 010 | loss: 0.22283 - acc: 0.9714 | val_loss: 0.01227 - val_acc: 1.0000 -- iter: 783/783

使用的网络(注意dropout已经被注释掉):

def get_network_wide(frames, input_size, num_classes):
"""Create a one-layer LSTM"""
net = tflearn.input_data(shape=[None, frames, input_size])
#net = tflearn.lstm(net, 256, dropout=0.2)
net = tflearn.fully_connected(net, num_classes, activation='softmax')
net = tflearn.regression(net, optimizer='adam',
loss='categorical_crossentropy',metric='default', name='output1')
return net

Plot of validation loss vs training loss

最佳答案

本质上这不一定是有问题的现象

发生这种情况的原因有很多,如下所述。

  1. 当您的训练数据难以训练/学习模式时,通常会发生这种情况,而验证集拥有“容易”的图像/数据进行分类。这同样适用于 LSTM/序列分类数据。
  2. 训练初期可能会出现验证损失小于训练损失+验证准确率大于训练准确率的情况。
  3. 在验证期间,dropout 未启用,从而在验证集上获得更好的结果。
  4. 训练损失是按时代计算的。在一个时期结束时,它是整个时期批量损失(累积)的平均值。网络学习数据之间和数据内的模式/关系,并且在针对验证对其进行测试时,它使用已经学习的信息,因此验证结果可能更好TLosses [0.60,0.59,...0.3(周期结束时在 TS 上的损失)] -> VLosses [0.3,0.29,0.35](因为模型已经训练了一个与时代开始相比很多。

但是,您的训练集和验证集都非常小。仅当数据非常多(在本例中为数万甚至数十万)时才应进行这种拆分(90% 用于训练,10% 用于验证/开发)。另一方面,您的整个训练集(train + val)的样本少于 1000 个。 您需要更多数据,因为众所周知,LSTM 需要大量训练数据。

然后,您可以尝试使用 KFoldCrossValidation 甚至 StratifiedKFoldCrossValidation。这样,您将确保您没有手动创建一个非常“简单”的验证集,在你总是测试它;相反,你可以有 k-folds,其中 k-1 用于训练,1 用于验证;通过这种方式,您可以避免情况 (1)。

答案就在数据中仔细准备,因为结果在很大程度上取决于数据的质量(预处理数据、清理数据、创建相关的训练/验证/测试集)。

关于python - 验证损失低于训练损失训练 LSTM,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56575293/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com