c++ - 带有符号 API : batch normalization update 的 Mxnet

Question

我目前正在使用 Mxnet 和 C++ Symbol API 训练卷积神经网络。该网络包含一些 Batchnormalization 层，其中包含四个参数 NDArray。其中两个，moving_mean 和 moving_variance 参数应该在训练期间的每批更新。

我猜测，由于执行器前向传递的 bool 值设置为 true，它会自动更新新参数。但是，由于某些原因，这两个NDArray保持不变，没有任何参数更新。为何如此？此外，由于没有为这两个 NDArray 计算梯度，因为它不是“可学习”参数，我无法通过常规优化器更新函数更新值。如何使用符号 API 告诉 Mxnet 更新 moving_mean 和 moving_variance NDArrays？

Answer 1

moving_mean 和 moving_variance 在训练的反向传播过程中更新，而不是像其他参数一样在优化步骤中更新。这些参数在训练期间保持固定的另一个原因是，如果您在 BatchNorm 层上设置了 use_global_stats=True。