python - 使用整个 MNIST 数据集(60000 张图像)训练 tensorflow 需要多少次迭代？

Question

MNIST 集包含 60,000 张图像作为训练集。在训练我的 Tensorflow 时，我想运行训练步骤以使用整个训练集训练模型。 Tensorflow 网站上的深度学习示例使用 20,000 次迭代，批处理大小为 50(总计 1,000,000 个批处理)。当我尝试超过 30,000 次迭代时，我的数字预测失败(预测所有手写数字为 0)。我的问题是，我应该使用多少次迭代和 50 的批量大小来训练整个 MNIST 集的 tensorflow 模型？

self.mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
for i in range(FLAGS.training_steps):
    batch = self.mnist.train.next_batch(50)
    self.train_step.run(feed_dict={self.x: batch[0], self.y_: batch[1], self.keep_prob: 0.5})
    if (i+1)%1000 == 0:
       saver.save(self.sess, FLAGS.checkpoint_dir + 'model.ckpt', global_step = i)

Answer 1

使用机器学习时，您往往会遇到严重的 yield 递减情况。例如，这是我的一个 CNN 的准确度列表:

Epoch 0 current test set accuracy :  0.5399
Epoch 1 current test set accuracy :  0.7298
Epoch 2 current test set accuracy :  0.7987
Epoch 3 current test set accuracy :  0.8331
Epoch 4 current test set accuracy :  0.8544
Epoch 5 current test set accuracy :  0.8711
Epoch 6 current test set accuracy :  0.888
Epoch 7 current test set accuracy :  0.8969
Epoch 8 current test set accuracy :  0.9064
Epoch 9 current test set accuracy :  0.9148
Epoch 10 current test set accuracy :  0.9203
Epoch 11 current test set accuracy :  0.9233
Epoch 12 current test set accuracy :  0.929
Epoch 13 current test set accuracy :  0.9334
Epoch 14 current test set accuracy :  0.9358
Epoch 15 current test set accuracy :  0.9395
Epoch 16 current test set accuracy :  0.942
Epoch 17 current test set accuracy :  0.9436
Epoch 18 current test set accuracy :  0.9458

如您所见，返回在约 10 个时期*后开始下降，但这可能因您的网络和学习率而异。根据关键程度/你有多少时间，适合做的事情会有所不同，但我发现 20 是一个合理的数字

*我一直使用 epoch 这个词来表示整个数据集的运行，但我不知道该定义的准确性，这里的每个 epoch 大约有 429 个训练步骤，批处理大小为 128。