validation - 如何从交叉验证的数据创建学习曲线？

Question

我有一个使用 10 倍交叉验证的算法。在训练集中，我使用其中一个折叠来验证训练模型，然后在保留的折叠上使用学习模型进行测试。

我想创建一条学习曲线，这意味着我需要改变训练集的大小。这是否意味着我也会改变验证集的大小以及训练数据？这是否意味着我还需要更改测试集的大小(训练和验证折叠之外的折叠)？

Answer 1

10 倍交叉验证的工作原理是获取标记数据的训练集并将其划分为 10 个大小相等的子集。其中 9 个子集被组合到新的训练集中，其余 1 个子集用于验证/测试，即模型在原始训练集的 90% 上进行训练并在 10% 上进行测试。

这会在 10 个子集的每一个上迭代执行 10 次(折叠)，因此每个子集都用于测试。每次迭代都会执行测试的性能测量，所有迭代完成后，计算平均值。

没有什么叫做“训练折叠”或“测试折叠”，折叠是过程的迭代。在此过程中也没有保留任何子集，所有子集都会在每次迭代中使用。

要创建您所说的学习曲线，您只需改变原始训练集的大小，并让 10 倍交叉验证过程按原样运行即可。原始训练集中的记录数是训练集大小的衡量标准，性能是交叉验证完成后给定的平均值。