machine-learning - 通过跨 channel 局部响应归一化(LRN)层的反向传播算法

Question

我正在研究复制神经网络。我试图了解标准图层类型的工作原理。特别是，我很难在任何地方找到跨 channel 标准化层在向后传递中如何表现的描述。

由于标准化层没有参数，我可以猜测两个可能的选项:

1. 来自下一层(即后面)的误差梯度向后传递，而不对其进行任何操作。

2. 误差梯度的标准化方式与前向传递中跨 channel 激活的标准化方式相同。

我想不出为什么你会根据直觉做其中一个而不是另一个，因此我需要一些帮助。

编辑1:

该层是caffe中的标准层，如下所述http://caffe.berkeleyvision.org/tutorial/layers.html (请参阅“本地响应标准化 (LRN)”)。

alexNet 论文的 3.3 节描述了该层在前向传递中的实现:http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

编辑2:

我相信 Torch 库中描述了前向和后向传递算法:https://github.com/soumith/cudnn.torch/blob/master/SpatialCrossMapLRN.lua

在 Caffe 库中:https://github.com/BVLC/caffe/blob/master/src/caffe/layers/lrn_layer.cpp

请熟悉其中一个/两者的人将后向传递阶段的方法翻译成简单的英语吗？

Answer 1

它使用链式法则通过局部响应归一化层向后传播梯度。从这个意义上来说，它有点类似于非线性层(它本身也没有可训练的参数，但确实会影响向后的梯度)。

从您链接到的 Caffe 中的代码中，我看到它们将每个神经元中的错误作为参数，并通过执行以下操作来计算前一层的错误:

首先，在前向传递中，它们缓存了一个所谓的比例，计算结果如下(根据 AlexNet 论文，请参阅第 3.3 节中的公式):

scale_i = k + alpha / n * sum(a_j ^ 2)

这里和下面的 sum 是由 j 索引的总和，从 max(0, i - n/2) 到 min(N, i + n/2)

(请注意，在论文中，它们没有通过 n 进行标准化，因此我认为 Caffe 的做法与 AlexNet 不同)。然后，前向传递计算为 b_i = a_i + scale_i ^ -beta。

为了向后传播误差，假设来自下一层的误差是 be_i，而我们需要计算的误差是 ae_i。然后 ae_i 计算如下:

ae_i = scale_i ^ -b * be_i - (2 * alpha * beta / n) * a_i * sum(be_j * b_j / scale_j)

由于您打算手动实现它，我还将分享 Caffe 在代码中使用的两个技巧，使实现更简单:

1. 计算总和的加数时，分配一个大小为 N + n - 1 的数组，并在每个数组上填充 n/2 个零结尾。这样您就可以计算从 i - n/2 到 i + n/2 的总和，而不必关心低于零和超过 N .

2. 您无需在每次迭代时重新计算和，而是提前计算加数(对于前面的过程，a_j^2，be_j * b_j/scale_j(用于向后传递)，然后计算 i = 0 的 sum，然后计算每个连续的 i 只需添加 addend[i + n/2] 并减去 addend[i - n/2 - 1]，它就会为您提供总和的值常数时间内 i 的新值。