language-agnostic - 识别图像时的神经网络决策过程有可视化吗？

Question

我已注册Coursera ML class我刚刚开始学习神经网络。

真正让我困惑的一件事是，一旦找到线性组合的良好权重，识别如此“人类”的东西(例如手写数字)就会变得容易。

当您了解到一些看似抽象的东西(例如汽车)只需找到一些非常好的线性组合参数，然后将它们组合起来，并将它们相互馈送就可以被识别时，那就更疯狂了.

线性组合的组合比我曾经想象的更容易表达。
这让我想知道是否可以可视化神经网络的决策过程，至少在简单的情况下。

例如，如果我的输入是 20x20 灰度图像(即总共 400 个特征)，并且输出是与已识别数字相对应的 10 个类别之一，我希望看到某种视觉解释，说明哪些线性级联组合导致神经网络得出结论。

我天真地想象这可能会被实现为被识别图像上的视觉提示，可能是显示“对决策影响最大的像素”的温度图，或者任何有助于理解神经网络在特定情况下如何工作的东西。

是否有一些神经网络演示可以做到这一点？

Answer 1

这不是对您问题的直接回答。我建议你看一下卷积神经网络(CNN)。在 CNN 中，你几乎可以看到所学到的概念。您应该阅读此出版物:

Y。 LeCun、L. Bottou、Y. Bengio 和 P. Haffner:Gradient-Based Learning Applied to Document Recognition ，IEEE session 录，86(11):2278-2324，1998 年 11 月

CNN 通常被称为“可训练的特征提取器”。事实上，CNN 实现了具有可训练系数的 2D 滤波器。这就是为什么第一层的激活通常显示为 2D 图像(见图 13)。在本文中，作者使用了另一个技巧来使网络更加透明:最后一层是径向基函数层(具有高斯函数)，即。 e.计算每个类别到(可调整)原型(prototype)的距离。通过查看最后一层的参数，您可以真正看到学到的概念(见图 3)。

但是，CNN 是人工神经网络。但各层并不是完全连接的，并且一些神经元共享相同的权重。