machine-learning - 交叉验证结果不一致

Question

我有一组记录受试者执行某些特定认知任务的数据集。该数据由 16 个 channel 和每个 channel 的多个样本点组成，我想根据正在执行的认知任务对这些数据进行分类(所有内容都已标记)。

问题是我没有大量数据(每个 session 大约 60 次试验，每个认知任务 30 次)，而且我有 2 个 session 。我正在尝试训练线性判别分析(LDA)分类器来对这些数据进行分类。稍后将实时使用分类器，为每个样本数量提供某种形式的输出。

我使用 5 倍交叉验证来测量分类器的泛化误差。问题是，当我多次运行这个 5 倍交叉验证时，我得到的结果根本不稳定。相反，总体准确度存在显着差异(例如，第一次 5 倍交叉验证可能产生 80% 的平均准确度，第二次产生 65% 的准确度，第三次产生 72% 的平均准确度等......)。这是正常的吗？如果不是，可能是什么原因？

Answer 1

听起来您可能有一些错误的数据或者您的分类器过度拟合。您可以执行留一交叉验证并记下结果。它可以帮助找到可能使结果产生偏差的数据。