machine-learning - CNN 上的数字识别

Question

我正在卷积神经网络上测试打印数字 (0-9)。它在 MNIST 数据集上的准确率超过 99%，但是当我使用计算机上安装的字体(Ariel、Calibri、Cambria、Cambria math、Times New Roman)尝试它并训练由字体生成的图像(每个字体 104 个图像(总共25 种字体 - 每种字体 4 个图像(差别不大))训练错误率不会低于 80%，即 20% 准确率。为什么？

这是“2”号图像样本 -

我将每张图像的大小调整为 28 x 28。

这里有更多细节:-

训练数据大小 = 28 x 28 图像。网络参数-如LeNet5网络架构 -

Input Layer -28x28
| Convolutional Layer - (Relu Activation);
| Pooling Layer - (Tanh Activation)
| Convolutional Layer - (Relu Activation)
| Local Layer(120 neurons) - (Relu)
| Fully Connected (Softmax Activation, 10 outputs)

这很有效，在 MNIST 上的准确率达到 99% 以上。为什么计算机生成的字体如此糟糕？ CNN 可以处理数据中的大量变化。

Answer 1

我发现两个可能的问题:

预处理:MNIST 不仅是 28px x 28px，而且:

The original black and white (bilevel) images from NIST were size normalized to fit in a 20x20 pixel box while preserving their aspect ratio. The resulting images contain grey levels as a result of the anti-aliasing technique used by the normalization algorithm. the images were centered in a 28x28 image by computing the center of mass of the pixels, and translating the image so as to position this point at the center of the 28x28 field.

来源:MNIST website

过度拟合:

• MNIST 拥有 60,000 个训练示例和 10,000 个测试示例。你有多少个？
• 您是否尝试过 dropout(请参阅 paper)？
• 您是否尝试过数据集增强技术？ (例如，稍微移动图像，可能稍微改变纵横比，您也可以添加噪音 - 但是，我认为这些不会有帮助)
• 您是否尝试过较小的网络？ (您的过滤器有多大/有多少个过滤器？)

备注

有趣的想法!您是否尝试过简单地将经过训练的 MNIST 网络应用于您的数据？结果如何？