machine-learning - 如果嵌套模型在相同数据上进行训练，是否会过度拟合

Question

如果我构建一个机器学习模型，其中它使用另一个机器学习模型的输出，而两个模型都使用相同的数据进行训练，那么它是否会过度拟合？基本上我想知道是否可以使用 KNN 预测结果作为深度神经网络模型的输入，同时这两个模型都使用相同的数据进行训练。

Answer 1

嵌套机器学习模型是可能的。例如，神经元网络可以被视为多个嵌套感知器(参见https://en.wikipedia.org/wiki/Perceptron)。

无论你是对的 - 嵌套机器学习模型都会增加整个机器学习系统的 VC 维度 ( https://en.wikipedia.org/wiki/VC_dimension )，从而增加过度拟合的风险。

在实践中，经常使用交叉验证来降低过度拟合的风险。

编辑:

@MatiasValdenegro +1 指出了我在回答中没有明确指出的一点。纯粹的交叉验证确实只能用于检测过度拟合。

但是，当我们训练某些机器学习系统(例如神经网络)时，可以使用某种交叉验证来降低过度拟合的风险。为此，我们只需丢弃例如10%的训练数据用于训练。然后，在每轮训练之后，根据丢弃的训练数据对经过训练的机器学习系统进行评估。一旦经过训练的神经网络在丢弃的部分上变得更糟，训练算法就会停止。例如，这是由 python pybrain ( http://pybrain.org/ ) 库完成的。