machine-learning - 为什么神经网络对排列标签给出相同的精度？

Question

我有一个包含 37 个数据点和大约 1300 个特征的数据集。有 4 个不同的类，每个类都有大约相同数量的数据点。我训练了一个神经网络，并通过两个隐藏层获得了 60% 的准确率，这还不错(机会级别 25%)。

现在的问题是 p 值。我正在通过排列检验计算 p 值。我将标签排列 1000 次，并且对于每次排列我都会计算准确性。我计算的 p 值是平均排列精度相对于原始精度的百分比。

对于标签的所有排列，我得到的准确度与原始标签相同，即神经网络似乎没有在学习中包含标签。

如果我用 SVM 来做，我会得到所有排列不同的精度(最终就像高斯分布)。

为什么会这样？

顺便说一句，我正在使用 DeepLearnToolbox for Matlab。

Answer 1

60% 的成功率是在您预留的训练数据还是验证数据集上实现的？

如果您仅根据训练数据计算成功率，那么即使在排列标签后，您也会期望获得较高的准确率。这是因为您的分类器将过度拟合数据(1300 个特征到 37 个数据点)并在训练数据上取得良好的性能。