python - 机器学习防止过拟合这是作弊吗？

Question

在训练期间评估训练/测试结果时说这些值来了:

Train: 50.5% - Test: 50.2%
Train: 55.5% - Test: 53.2%
Train: 62.5% - Test: 58.2%
Train: 69.5% - Test: 62.2%
Train: 75.5% - Test: 59.2% <--- stop training, overfitting seems to be happening.

发生这种情况时，您能否阻止模型训练，或者它是否作弊？即当测试精度下降时停止模型训练。我知道您应该只在训练期间评估训练集，这就是我想知道的原因。

Answer 1

这是作弊。以这种方式训练的模型对其“在现实生活中”的表现没有任何合理的保证

你应该做的是有一个单独的机制来检测学习何时完成(看起来你的训练是迭代的)，它可能会分析模型本身，或者使用一些单独的(通常称为验证)hold-出数据集的一部分。

简而言之:除了报告最终值(value)之外，您不能将测试数据用于<​​strong>任何事情，您不能根据它做出任何决定。