initialization - 如何在神经网络的 Xavier 初始化中计算扇入和扇出？

Question

我发现神经网络中权重的 Xavier 初始化的变化都提到了 扇入 和一个 扇出 ;你能告诉我这两个参数是如何计算的吗？专门针对这两个例子:

1) 使用形状为 [5, 5, 3, 6](宽度、高度、输入深度、输出深度)的滤波器初始化卷积层的权重；

2) 初始化全连接层的权重，形状为 [400, 120](即将 400 个输入变量映射到 120 个输出变量)。

谢谢!

Answer 1

这个答案的灵感来自 Matthew Kleinsmith 的 post CNN Visualizations on Medium，下图来自 post吉迪恩·孟德尔斯。让我们从 MLP 开始，如下所示。
.
类似地，一个 Conv 层可以被可视化为一个线性层。
图片
过滤器
由于过滤器四次适合图像，我们有四个结果
以下是我们如何将过滤器应用于图像的每个部分以产生每个结果

等式 View

紧凑方程 View

现在最重要的是神经 WebView ，您可以在其中看到每个输出是从 4 个输入生成的，因此 fan_in = 4。

如果原始图像是 3 channel 图像，则每个输出将由 3*4 = 12 个输入生成，因此 fan_in 将为 12。因此，

receptive_field_size = kernel_height * kernel_width
fan_in = num_input_feature_maps * receptive_field_size
fan_out = num_output_feature_maps * receptive_field_size

我还鼓励您使用 PyTorch 函数来计算 fan_in 和 fan_out here. .有点像这样，引用上面的例子

您可以在我的 blog post 中阅读有关权重初始化的更多信息
引用

https://medium.com/impactai/cnns-from-different-viewpoints-fab7f52d159c

https://medium.com/comet-ml/selecting-the-right-weight-initialization-for-your-deep-neural-network-780e20671b22