machine-learning - 为什么我们将 CNN 中的全连接层称为 "the Top Layers"？

Question

我读过一些有关卷积神经网络的论文，发现几乎所有论文都将普通 CNN 中的全连接层称为“顶层”。

然而，正如大多数论文所示，典型的 CNN 具有自上而下的结构，并且通常后面跟着 softmax 分类器的全连接层被放置在网络的底部。那么，为什么我们称它们为“顶层”？这是一种惯例还是有其他一些我不知道的考虑？

Answer 1

有充分的理由将它们与其他层区分开来，远远超出了“惯例”。

CNN 有很多层，每个层都有不同的抽象级别。它从非常简单的形状和边缘开始，然后学习例如识别眼睛和其他复杂特征。在典型的设置中，顶层将是一层或两层深度的全连接网络。现在，重要的是:顶层权重最直接地受到标签的影响。这是有效地做出某物是猫的决定(或者更确切地说产生概率)的层。

现在想象一下，您想要构建自己的模型来识别可爱的猫，而不仅仅是猫。如果从头开始，则必须提供大量训练示例，以便模型首先学会识别猫的构成。通常您没有足够的数据量或足够的处理能力。您可能会做什么:

1. 采用现有的、性能良好的模型，并已学习权重，例如图像网。有一些令人惊叹的、最先进的模型，经过数百万张图像的训练。您几乎无法击败 ILSVRC 比赛的获胜者。
2. 移除顶层。您对原始模型已学习的所有标签并不感兴趣。
3. 修复您借用的模型的权重。它在识别猫方面已经非常出色了，您不想通过训练来增加重量。
4. 添加您自己的顶层并在可爱的猫上训练模型。

背后的想法是，原始模型已经学会了识别 CNN 层中的通用特征，并且这些特征可以重复使用。顶层已经超出了通用的范围，进入了训练集中的特定部分——并且这些可以被丢弃。那里没有可爱的猫。