machine-learning - 测试期间批量归一化

Question

对于测试期间的批量归一化，如何计算每个激活输入(在每一层和输入维度中)的均值和方差？是记录训练的均值和方差，计算整个训练集的均值和方差，还是计算整个测试集的均值和方差？

很多人说要预先计算均值和方差，但是如果采用计算整个测试集均值和方差的方法，是不是还需要计算整个测试集的均值和方差呢？执行前向传播(不是“pre”)？

非常感谢您的帮助!

Answer 1

当您在测试中进行预测时，您始终使用训练的统计数据 - 无论是简单的转换还是批量归一化。

我建议尝试 cs231n 类(class)以了解更多信息。以下是我在执行此代码时编写批量标准化的方式:github link .

如果测试统计数据与训练数据显着不同，则意味着测试总体上是不同的，并且模型将无法正常工作。在这种情况下，无论如何你都需要找到不同的训练数据。但更准确地说，当您在以某种方式处理的数据上训练模型时，它不会在以不同方式处理的数据上很好地工作。

假设只有 1 个测试样本 - i。 e.你想对一个客户或其他什么做出预测。在这种情况下，您根本无法计算测试统计数据。其次，我们来进行批量归一化。数据已标准化，现在的值显示原始数据与某个平均值的标准差有多少。因此模型将使用这些信息进行训练)。如果使用测试统计数据对测试数据进行标准化，则值将显示与不同平均值的偏差。