validation - 评估 CNN 训练效果的最佳指标是什么？验证错误或训练损失？

Question

我想训练 CNN，但我想使用所有数据来训练网络，因此不执行验证。这是一个好的选择吗？如果仅使用训练损失作为提前停止 CNN 的标准，我是否有过度拟合 CNN 的风险？

换句话说，在以下选项中，KERAS(例如)中用于提前停止的最佳“监控”参数是什么？

early_stopper=EarlyStopping(monitor='train_loss', min_delta=0.0001, patience=20)
early_stopper=EarlyStopping(monitor='train_acc', min_delta=0.0001, patience=20)
early_stopper=EarlyStopping(monitor='val_loss', min_delta=0.0001, patience=20)
early_stopper=EarlyStopping(monitor='val_acc', min_delta=0.0001, patience=20) 

stackoverflow中有这样的讨论Keras: Validation error is a good measure for stopping criteria or validation accuracy? ，但是，他们只谈论验证。使用验证或训练数据中的标准来提前停止 CNN 训练哪个更好？

Answer 1

1. I want to train a CNN, but I want to use all data to train the network thus not performing validation. Is this a good choice? am I risking to overfit my CNN if using only the training loss as the criterium for early stopping the CNN?

回答:不，您的目的是对新样本进行预测，即使您获得了 100% 的训练准确率，但您也可能对新样本做出错误的预测。你没有办法检查你是否有过度拟合

2. In other words, what is the best 'monitor' parameter in KERAS (for example) for early stopping, among the options below?

回答:应该是最接近实际的标准

early_stopper=EarlyStopping(monitor='val_acc', min_delta=0.0001, patience=20)

此外，您可能需要训练、验证和测试数据。 train是训练你的模型，validate是对一些模型+参数进行验证，选出最好的，test是独立验证你的结果(不用于选择模型，参数，相当于新样本)