machine-learning - 交叉验证澄清

Question

我在理解如何实现交叉验证方面遇到了一些困难。就我而言，我正在尝试将其应用于 LVQ 系统。这是我到目前为止所理解的...

可以针对 LVQ 进行调整的参数之一是对每个类进行建模的原型(prototype)数量。为了找到最佳数量的原型(prototype)，必须在训练数据上训练模型，然后在未见过的数据上测试模型并计算其性能。但是，根据您用于训练和验证的数据点，性能结果会有所不同。因此，可以使用交叉验证来获得性能的平均值。

您对不同数量的原型(prototype)重复此操作，看看哪个数量获得最佳平均值。完成此操作后，下一步做什么？是在整个训练集上生成与获得最佳结果的原型(prototype)数量相对应的新模型，还是使用与交叉验证时获得最高准确率的折叠相对应的模型？

Answer 1

Do you generate a new model on the entire training set corresponding to the amount of prototypes which obtained the best result, or do you use the model corresponding to the fold which obtained the highest accuracy during cross validation?

完成 CV 并获得最佳参数(在您的情况下为模型数量)后，您可以修复它们并在整个训练数据集上训练模型。

理由如下。假设您的训练数据集是 tr，并且您正在尝试确定其在其他数据集 te 上的性能(其中 te 是验证数据集，或“现实世界”)。由于您无法测试不同参数对 te 的影响(因为它会过度拟合，或者因为 te 是“现实世界”，并且不可用)，因此您可以模拟通过重复将其拆分为 tr_cv 和 te_cv 来将其放在 tr 上。不过，一旦获得最佳参数，就没有理由不使用整个数据来构建模型。