machine-learning - 神经网络的异常结果

Question

我编写了一个简单的前馈人工神经网络用于符号识别。

我在 5x5 像素网格中有一组 6 个可能的符号。

这些是{X, +, -,\,/, |}

例如X将是:

X = [1,0,0,0,1,
     0,1,0,1,0,
     0,0,1,0,0,
     0,1,0,1,0,
     1,0,0,0,1]

灰色噪声区域的值可以在 0 到 1 之间。

我的 ANN 由 25 个输入神经元(5x5 网格)、6 个带有偏差的隐藏神经元和 6 个输出神经元组成。

每个输出神经元映射到一个符号。 0 和 1 之间的输出决定了它识别哪个符号，即 - 该符号被选择为输出节点的最大值。

即 - 如果输出为 {X : 0.9, + : 0.2, - : 0.1,\: 0.15,/: 0.15, | : 0.2} 识别的符号将是 X。

看起来效果很好。然后我进行了以下实验:

我获得了测试输入(上面的 6 个符号)，并创建了一个噪声函数 addNoise(n)，其中 n 是随机添加到该输入的噪声的百分比.

对于 0 和 1 之间的每个噪声值，我运行了测试 2000 次(噪声每次都会随机变化)。我在 X 上执行此操作时得到了下图。

您可能需要在另一页上打开图像才能查看完整尺寸。

正如您所见，在我向 X 测试输入注入(inject)大约 40%(x 轴 400)噪声后，它开始预测其他符号。

将 70% 噪声添加到 X 中，网络预测 X 和 \ 的机会相同>.

无论如何，我的问题是:

图表上 \ 和 / 的线条不应该几乎完全对齐吗，因为它们相对于 X 是相同的符号？

澄清一下，在 70% 噪声之后，网络同等地混合了 X 和 \。

但是，在 ~88% 噪声之后，网络同样会混合 X 和 /。

为什么我的网络会产生这样的结果？

Answer 1

您假设网络在训练期间学习字符 X 的完整表示。也许它学到的内部表示严重偏向 / 并混合了一些 \ 。即，如果输入具有强大的 / 组件和一些\ 组件——然后预测 X。此信息足以区分 X 和其他字符(干净时)。训练神经网络是基于损失函数的，如果这个表示已经满足我们的类，那么网络就不需要学习更鲁棒的表示。

在这种假设的情况下，与需要注入(inject)大量噪声的 / 相比，注入(inject)少量噪声将很容易模糊 \ 组件。