neural-network - 批量归一化 : Axis on which to take mean and variance

Question

我正在尝试在我的卷积神经网络中实现批量归一化 ( http://arxiv.org/pdf/1502.03167.pdf )，但我真的很困惑应该围绕哪个轴计算均值和方差。

如果 conv 层的输入是 3 * 224 * 224 * 32 的形状
其中:
3-输入 channel 。
224*224-单 channel 形状
32- 小批量大小

下面公式中的坐标轴应该是什么
平均值 = numpy.mean(input_layer, axis= ? )

并且，如果全连接层的输入形状为 100 * 32
其中:
100- 输入数量
32- 小批量大小

同样，下面公式中的轴应该是什么
平均值 = numpy.mean(input_layer, axis= ? )

Answer 1

# 1. axis = (1,2,3)
numpy.mean(input_layer,axis=(1,2,3)) 
# 2. axis = 1
numpy.mean(input_layer,axis=1)

对于具有共享权重的卷积层，它使用特征归一化，对于完全连接的层，它使用样本归一化。

引用Keras库BN层代码:https://github.com/fchollet/keras/blob/0daec53acbf4c3df6c054b36ece5c1ae2db55d86/keras/layers/normalization.py