python - 训练 acc 减少，验证增加。训练损失、验证损失减少

Question

我正在尝试实现 LRCN，但在训练方面遇到障碍。目前，我正在尝试仅单独训练 CNN 模块，然后将其连接到 RNN。您在下面看到的结果在某种程度上是我迄今为止取得的最好的结果。问题在于，除了训练准确性之外，一切似乎都进展顺利。正在逐渐下降。

我的模型在 FC 层之间存在严重的丢失，因此这可能是原因之一，但您仍然认为这些结果有问题吗？如果它们继续这种趋势，我应该改变什么目标？

要预测的类别数为 3。代码是用 Keras 编写的。

Epoch 1/20 16602/16602 [==============================] - 2430s146ms/step - loss: 1.2583 - acc: 0.3391 - val_loss: 1.1373 - val_acc:0.3306

Epoch 00001: val_acc improved from -inf to 0.33058, saving model toweights.01-1.14.hdf5 Epoch 2/20 16602/16602[==============================] - 2441s 147ms/step - loss: 1.1998 -acc: 0.3356 - val_loss: 1.1342 - val_acc: 0.3719

Epoch 00002: val_acc improved from 0.33058 to 0.37190, saving model toweights.02-1.13.hdf5 Epoch 3/20 8123/16602[=============>................] - ETA: 20:30 - loss: 1.1889 - acc:0.3325

我还有 2 个简短的问题，暂时无法回答。

1. 为什么我从自定义视频数据生成器输出的张量的尺寸为:(4, 288, 224, 1)但我的输入形状的图层生成为 (None, 288, 224, 1) ？为了阐明形状，我在非时间分布式 CNN 中对包含单个图像的 4 个批处理进行分类。我使用函数式 API。
2. 稍后，当我训练 RNN 时，我必须对每个时间步进行预测，然后将它们平均并选择最好的一个作为我的整体模型预测的预测。 metrics['accuracy'] 可以做到这一点还是我需要自定义指标函数？如果是后者，我该如何写一个:Keras doc. the results from evaluating a metric are not used when training the model 。为此，我是否需要自定义目标(损失)函数？

任何帮助、专业知识都将受到高度赞赏，我真的需要它。预先感谢您!

Answer 1

只要损失不断下降，准确性最终就会开始增长。由于您只训练了 2-3 个 Epoch，因此我认为准确性可能会出现波动是正常的。

至于您的其他问题:

1. 层输入形状的概念是(batchSize, dim1, dim2, nChannels)。由于您的模型在训练之前不知道批量大小，因此 None 被用作一种占位符。图像尺寸似乎是正确的， channel 数为 1 意味着您不使用彩色图像，因此每个像素只有一个条目。
2. 我认为准确率指标应该很好，但我没有 RNN 经验，所以也许其他人可以回答这个问题。