machine-learning - 机器学习模型是否可能具有低测试误差和高训练误差？

Question

当我们有较大的测试误差和较大的训练误差时，我们称其为偏差问题。当我们的训练误差较低而测试误差较高时，我们称其为方差问题。当训练误差和测试误差都足够低到可以接受时，我们说它是“良好拟合”或“最佳拟合”模型。

但是是否有可能训练误差比测试误差更多？？？如果是的话我们怎么说呢？此外，测试集和训练集都是随机选择的，因此无需进行任何事先设置!

Training    Test    Model
error       error

low         low     GOOD FIT
low         high    HIGH VARIANCE
high        high    HIGH BIAS
high        low     ????????

Answer 1

由于学习模型旨在减少训练误差(因为在学习时测试集不可用，因此是“测试”)，这是非常不可能的，而且我想说，除非您专门创建一些发生这种情况的示例，否则不会发生。

要发生这种情况，训练集必须是高方差之一，或者与所选模型不兼容的训练集(例如，分离无法线性分离的数据的线性模型)，对于任何测试都会产生高训练误差为了产生较低的训练误差，它必须不反射(reflect)与给定训练集中相同的方差。如果你遇到这样的问题，很可能是这些集合的构造不好。由于这种情况不太可能发生，我不知道它有什么名字