machine-learning - 为什么不在训练数据集上优化超参数？

Question

开发神经网络时，通常会将训练数据划分为训练数据集、测试数据集和保留数据集(许多人分别将其称为训练数据集、验证数据集和测试数据集。相同的事物，不同的名称)。许多人建议根据测试数据集中的性能选择超参数。我的问题是:为什么？为什么不最大化训练数据集中超参数的性能，并在我们通过测试数据集中的性能下降检测到过度拟合时停止训练超参数？由于训练通常大于测试，与测试数据集上的训练超参数相比，这不会产生更好的结果吗？

2016 年 7 月 6 日更新

术语更改，以匹配下面的评论。在本文中，数据集现在被称为训练、验证和测试。我不使用测试数据集进行训练。我正在使用 GA 来优化超参数。在外部 GA 训练过程的每次迭代中，GA 都会选择一个新的超参数集，在训练数据集上进行训练，并在验证和测试数据集上进行评估。 GA 调整超参数以最大限度地提高训练数据集中的准确性。当检测到网络过拟合(在验证数据集中)时，迭代内的网络训练将停止，而当检测到超参数过拟合时(再次在验证中)，外部 GA 训练过程将停止。结果是针对训练数据集进行了伪优化的超参数。问题是:为什么许多来源(例如 https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf，B.1 节)建议优化验证集而不是训练集的超参数？引用 Srivasta、Hinton 等人(上面的链接):“在验证集上调整超参数，以便产生最佳验证错误......”

Answer 1

原因是开发模型总是涉及调整其配置:例如，选择层数或层的大小(称为模型的超参数，以将它们与参数区分开来，参数是网络的权重)。您可以通过使用模型在验证数据上的性能作为反馈信号来进行此调整。本质上，这种调整是一种学习形式:在某些参数空间中搜索良好的配置。因此，根据模型在验证集上的性能调整模型的配置可能会很快导致验证集过度拟合，即使您的模型从未直接对其进行训练。

这种现象的核心是信息泄露的概念。每次根据模型在验证集上的性能调整模型的超参数时，有关验证数据的一些信息都会泄漏到模型中。如果您仅针对一个参数执行此操作一次，那么将泄漏很少的信息，并且您的验证集将仍然可靠地评估模型。但是，如果您重复多次(运行一个实验，评估验证集，然后修改模型)，那么您就会将越来越多的有关验证集的信息泄漏到模型中。

最终，您将得到一个在验证数据上人为表现良好的模型，因为这就是您对其进行优化的目的。您关心的是全新数据的性能，而不是验证数据，因此您需要使用完全不同的、前所未见的数据集来评估模型:测试数据集。您的模型不应该访问有关测试集的任何信息，即使是间接访问。如果模型的任何内容是根据测试集性能进行调整的，那么您的泛化度量就会有缺陷。