tensorflow - VGG 的每一层有多少个神经元？

Question

你能告诉我每层有多少个神经元吗？我觉得这将增进我对 VGG 正在发生的事情的理解。

让我们在这里使用这段代码只是为了得到一些具体的东西。

https://github.com/machrisaa/tensorflow-vgg/blob/master/vgg19.py#L46

在这一行中，我看到输入的是 224x224x3(图像)。在代码中的每一行之后(每行代表一个层)该图像的尺寸会发生什么变化？

谢谢。

Answer 1

您发布的调试信息是每个操作/层的输出的维度。与“神经元”的数量有关，但又不一样。

输出维度从何而来？

VGG-19 中只有两种类型的层(不包括 softmax 和全连接):

• 卷积层:它们都使用 3x3 过滤器，步长为 1，填充为 1。这意味着输出体积将具有与输入体积相同的宽度和高度(深度等于过滤器的数量) )。下面引用的幻灯片 44 包含在给定输入维度和卷积参数的情况下计算输出的公式。
• 最大池层:它们都使用步长为 2 的 2x2 窗口。这意味着输出体积将具有输入体积的一半宽度和一半高度。幻灯片 56。

神经元在哪里？

假设我们想将网络解释为一组神经元。神经元是具有一组权重的每个单元，用于收集其输入的加权和，然后进行非线性变换。

首先，全连接层有神经元:4096 + 4096 + 1000 = 9192 个神经元。

其次，卷积层中有神经元。基本上，您可以将每个过滤器视为一个神经元(幻灯片 50 上有一个很好的插图)。

您可以轻松地在幻灯片 71 上查找每层的过滤器数量(例如 conv3-64 代表 64 个 3x3 过滤器)。对于 VGG-19，我们有 2*64 + 2*128 + 4*256 + 2*4*512 = 5504 个神经元。

综上所述，在实践中，人们通常会用参数数量(即权重)和层数来衡量网络的大小。 VGG-19 有 1.44 亿个参数，数量非常大。为了进行比较，训练集有 130 万个示例。

引用:http://cs231n.stanford.edu/slides/winter1516_lecture7.pdf