machine-learning - CIFAR-10 上神经网络的训练误差可能最低

Question

美好的一天! (或夜晚)

CIFAR-10 数据集上的全连接神经网络训练集的误分类错误可以有多低(对于 < 30 个隐藏层)？

是否有可能达到 0.001 或 0？

你能告诉我你的经历吗？

附注我想从过度拟合开始训练神经网络，然后调整参数以获得更好的泛化...

Answer 1

由于您没有对隐藏层的宽度指定任何限制，答案很简单 - 0。浅层单隐藏层神经网络(给定足够的隐藏单元)可以实现 0 训练任何有限数据集上的错误(就错误分类而言)(只要不存在具有不同标签的两个样本)。这直接来自 UAT(通用逼近定理，来自 Cybenko)。当然，您在实践中遇到的情况可能会有所不同，但一般来说您可以在 Cifar10 上获得 100% 的训练准确率。