machine-learning - 神经网络可以比标记的训练集表现得更好吗？

Question

我最近一直在研究机器学习和神经网络，目前正在尝试更好地了解训练过程对其生命周期中网络性能的影响。

我目前的理解是，当给定训练集时，网络会调整其偏差和权重变量，使程序在处理数千个数据点时更接近正确答案，并在每个点进行学习和调整。 This论文讨论了 MNIST 数据集的示例，其中可以训练网络在高达 97% 的时间内准确猜测正确的数字，其中数据集被标记为正确，准确率为 100%。

但是，如果给定的数据集只有 80% 准确度或 50% 准确度，会发生什么情况？这个精度是网络训练后可以达到的精度上限吗？是否有一种模型可以让人们比给定的数据集训练得更好？

由于缺乏更好的例子，如果神经网络向初级国际象棋棋手学习，理论上它可以训练到大师水平吗？

Answer 1

简短回答:检查 this paper他们讨论了基于不可靠标签的训练神经网络，他们深入解释了一种使用噪声滤波器和其他技术在给定一些错误标记数据的情况下训练网络的方法。他们甚至用 MNIST 数据集来举例说明。

更长的答案:

But, what happens if the data set it is given is only 80% accurate or 50% accurate?

总的来说，我们可以说神经网络类似于回归，摘自(伟大的)书 Artificial Intelligence: A Modern Approach 3rd Ed.作者:Stuart J. Russell 和 Peter Norvig(第 732 页):

And because the function represented by a network can be highly nonlinear—composed, as it is, of nested nonlinear soft threshold functions—we can see neural networks as a tool for doing nonlinear regression.

因此，如果您为该网络(或回归器)提供一些数据，它会尝试以最佳方式拟合它。也就是说，网络无法先验地知道现实世界中的标签是什么；它经过训练以适应您提供的数据，尝试学习隐藏的模式并适应输入的可能变体。

因此，考虑到这一点并遵循传统方法(不像论文中的方法)，如果您向 NN 提供错误标记的数据，它将学习对那种错误标记的数据进行分类(即，您的训练误差和损失函数可能很好，但是当你给它真实的标签时，它可能表现最差，因为它被训练来对错误标记的数据进行分类)。如果您使用类似的错误标记数据尝试其性能，它肯定会表现出色。

Is there a model that allows one to train better than the given data set?

所引用的论文提出了一个这样做的模型。不过，要小心，因为在 NN 中“训练得更好”可能经常会导致 Overfitting如果你不小心的话。

希望这有帮助。