machine-learning - 训练时监控 val_loss

Question

我有一个简单的问题突然让我怀疑我的工作。

如果我只有训练和验证集，我是否可以在训练时监控 val_loss，或者这会增加我的训练偏差。我想在验证集训练结束时测试我的准确性，但突然我在想，如果我在训练时监视该数据集，那会有问题吗？或不？

Answer 1

简短的回答 - 是的，监视验证错误并将其用作特定算法设置决策的基础会增加算法的偏差。详细说明一下:

1) 您可以修复任何机器学习算法的超参数，然后在训练集上对其进行训练。您生成的机器学习算法具有特定的超参数设置与训练集过度拟合，并且您使用验证集来估计使用这些超参数在未见过的数据上可以获得的性能

2) 但您显然希望调整超参数以获得最佳性能。您可能正在执行网格搜索或类似的操作，以使用验证集获取此特定算法的最佳超参数设置。结果您的超参数设置与验证集过度拟合。将其视为有关验证集的一些信息仍然通过超参数泄漏到您的模型中

3)因此，您必须执行以下操作:将数据集拆分为训练集、验证集和测试集。使用训练集进行训练，使用验证集对特定的超参数做出决策。当您完成(完全完成!)模型微调后，您必须使用模型从未见过的测试集来估计战斗模式中的最终性能。