multidimensional-array - 批量标准化: fixed samples or different samples by dimension?

Question

当我读到一篇论文“批量归一化:通过减少内部协变量偏移来加速深度网络训练”时，我想到了一些问题。

论文中写道:

Since m examples from training data can estimate mean and variance of all training data, we use mini-batch to train batch normalization parameters.

我的问题是:

他们是选择 m 个示例，然后同时拟合批标准化参数，还是为每个输入维度选择不同的 m 个示例集？

例如训练集由 x(i) = (x1,x2,...,xn) 组成:n 维对于固定批处理 M = {x(1),x(2),...,x(N)}，执行拟合所有 gamma1~gamman 和 beta1~beta.

对比

对于gamma_i，beta_i选择不同批处理M_i = {x(1)_i,...,x(m)_i}

Answer 1

我还没有在交叉验证和数据科学上找到这个问题，所以我只能在这里回答。如有必要，请随意迁移。

使用移动平均值一次计算每个小批量中的所有维度的均值和方差。 TF 中的代码如下所示:

mean, variance = tf.nn.moments(incoming, axis)
update_moving_mean = moving_averages.assign_moving_average(moving_mean, mean, decay)
update_moving_variance = moving_averages.assign_moving_average(moving_variance, variance, decay)
with tf.control_dependencies([update_moving_mean, update_moving_variance]):
  return tf.identity(mean), tf.identity(variance)

您不必担心技术细节，具体情况如下:

• 首先，沿批处理轴计算整个批处理传入的均值和方差。它们都是向量(更准确地说是张量)。
• 然后，当前值 moving_mean 和 moving_variance 通过 assign_moving_average 调用进行更新，该调用基本上计算如下:变量 * 衰减 + 值*(1 - 衰减)。

每次执行batchnorm时，它都会知道一个当前批处理和之前批处理的一些统计信息。