neural-network - CNN中全连接层的输出是什么？

Question

例如，在 Caffe 中，应该在 Inner Product (Fully Connected) 层中定义 num_output。这个输出数字是什么意思？

Answer 1

将完全连接层视为 1xN 的简单矩阵-矩阵乘法和 NxM产生维度 1xM 的结果.

假设我们传递了一个维度为 56x56x3 的数据。作为全连接层的输入。让重量的维度未知NxM .考虑一下，我们设置 num_ouput = 4096 .

为了计算这些数据，全连接层 reshape 了维度 56x56x3 的输入数据。如1xN , 1x(56x56x3) = 1x9408 .

因此，

N = 9408

M=num_output=4096

实际上我们最终做了一个 (1x9408)matrix - (9408x4096) matrix乘法。

如果 num_output 值更改为 100 , 它最终会做 (1x9408)matrix - (9408x100) matrix乘法。

从而增加 num_ouput value 将增加模型必须学习的权重参数的数量。