machine-learning - 批量归一化而不是输入归一化

Question

我可以在输入层之后使用批量标准化层而不标准化我的数据吗？我可以期望获得类似的效果/性能吗？

在 keras 函数中，它会是这样的:

x = Input (...)
x = Batchnorm(...)(x)
...

Answer 1

你能做到。但是，除了激活分布稳定之外，batchnorm 的好处是平均值和标准偏差可能会随着网络学习而迁移。

实际上，在输入层之后设置批量规范是一个奇特的数据预处理步骤。它有时很有帮助(例如在线性回归中)。但一次性计算整个训练样本的均值和方差比按批处理学习更容易、更高效。请注意，batchnorm 在性能方面并不是免费的，您不应该滥用它。

<小时/>