validation - Tensorflow:验证集如何改善学习曲线

Question

在 MNIST 的教程中，显示数据集分为三个不同的集合:(1) data_sets.train，(2) data_sets.validation 和 (3) data_sets。测试。但是，在训练循环中，只有 data_sets.train 用于训练。

# Start the training loop.
for step in xrange(FLAGS.max_steps):
  start_time = time.time()

  # Fill a feed dictionary with the actual set of images and labels
  # for this particular training step.
  feed_dict = fill_feed_dict(data_sets.train,
                             images_placeholder,
                             labels_placeholder)

并且每 (step + 1) % 1000 == 0 or (step + 1) == FLAGS.max_steps 评估模型，因此获得三个不同的评估:(1)训练数据评估, (2) 验证数据评估和 (3) 测试数据评估。

通常，在机器学习中，验证集用于微调模型的参数，改善学习曲线。

Tensorflow 中如何使用验证集来改善学习曲线？

Answer 1

因为深度学习训练需要很长时间，所以使用网格搜索或随机搜索等方法来优化超参数也需要很长时间。

验证集主要用于在训练期间寻找训练数据集的过度拟合。然后根据验证集调整模型/超参数。据我所知，这是手动完成的。

测试集不会影响算法的设计，以估计分类器在新的未见数据上的性能。

编辑:

有一些使用验证集的技术，例如 EarlyStopping (https://keras.io/callbacks/#earlystopping) 或当验证错误在 x 个时期内没有减少时降低学习率 (https://keras.io/callbacks/#reducelronplateau)。