machine-learning - 训练准确率大幅提高，测试准确率稳定

Question

按照 this 训练卷积神经网络时文章中，训练集的准确率增加太多，而测试集的准确率却稳定下来。

下面是一个包含 6400 个训练示例的示例，在每个时期随机选择(因此有些示例可能在之前的时期出现过，有些可能是新的)，以及 6400 个相同的测试示例。

对于更大的数据集(64000 或 100000 个训练样本)，训练准确率的提高更加突然，在第三个 epoch 时达到 98。

我还尝试在每个时期使用相同的 6400 个训练示例，只是随机洗牌。正如预期的那样，结果更糟。

epoch 3  loss 0.54871 acc 79.01 
learning rate 0.1
nr_test_examples 6400    
TEST epoch 3  loss 0.60812 acc 68.48 
nr_training_examples 6400
tb 91
epoch 4  loss 0.51283 acc 83.52 
learning rate 0.1
nr_test_examples 6400
TEST epoch 4  loss 0.60494 acc 68.68 
nr_training_examples 6400
tb 91
epoch 5  loss 0.47531 acc 86.91 
learning rate 0.05
nr_test_examples 6400
TEST epoch 5  loss 0.59846 acc 68.98 
nr_training_examples 6400
tb 91
epoch 6  loss 0.42325 acc 92.17 
learning rate 0.05
nr_test_examples 6400
TEST epoch 6  loss 0.60667 acc 68.10 
nr_training_examples 6400
tb 91
epoch 7  loss 0.38460 acc 95.84 
learning rate 0.05
nr_test_examples 6400
TEST epoch 7  loss 0.59695 acc 69.92 
nr_training_examples 6400
tb 91
epoch 8  loss 0.35238 acc 97.58 
learning rate 0.05
nr_test_examples 6400
TEST epoch 8  loss 0.60952 acc 68.21

这是我的模型(我在每次卷积后使用 RELU 激活):

conv 5x5 (1, 64)
max-pooling 2x2
dropout
conv 3x3 (64, 128)
max-pooling 2x2
dropout
conv 3x3 (128, 256)
max-pooling 2x2
dropout
conv 3x3 (256, 128)
dropout
fully_connected(18*18*128, 128)
dropout
output(128, 128)

可能是什么原因？

我正在使用带有学习率衰减的动量优化器:

    batch = tf.Variable(0, trainable=False)

    train_size = 6400

    learning_rate = tf.train.exponential_decay(
      0.1,                # Base learning rate.
      batch * batch_size,  # Current index into the dataset.
      train_size*5,          # Decay step.
      0.5,                # Decay rate.
      staircase=True)
    # Use simple momentum for the optimization.
    optimizer = tf.train.MomentumOptimizer(learning_rate,
                                         0.9).minimize(cost, global_step=batch)

Answer 1

这是非常令人期待的。 这个问题称为过度拟合。这是当您的模型开始“记住”训练示例而实际上没有学习任何对测试集有用的东西时。事实上，这正是我们首先使用测试集的原因。因为如果我们有一个足够复杂的模型，我们总是可以完美地拟合数据，即使没有意义。测试集告诉我们模型实际学到了什么。

使用类似于测试集的验证集也很有用，但您可以使用它来确定何时停止训练。当验证错误停止降低时，您将停止训练。 为什么不使用测试集呢？测试集是为了了解你的模型在现实世界中的表现如何。如果您开始使用测试集中的信息来选择有关训练过程的信息，那么就像您作弊一样，您将因测试错误不再代表现实世界的错误而受到惩罚。

最后，卷积神经网络因其过拟合能力而臭名昭著。事实证明，即使您打乱标签甚至随机像素，卷积网络也可以获得零训练误差。这意味着卷积网络不必有真正的模式来学习表示它。这意味着您必须规范化网络。也就是说，你必须使用诸如Dropout、批量归一化、早期停止之类的东西。

如果您想了解更多内容，我会留下一些链接:

过度拟合、验证、提前停止 https://elitedatascience.com/overfitting-in-machine-learning

卷积网络拟合随机标签: https://arxiv.org/pdf/1611.03530.pdf(这篇论文有点高级，但是浏览一下还是很有趣的)

附注要真正提高测试准确性，您需要更改模型或通过数据增强进行训练。您可能也想尝试迁移学习。