python - TensorFlow 批归一化实现之间有什么区别？

Question

TensorFlow 似乎实现了至少 3 个版本的批量归一化:

• tf.nn.batch_normalization
• tf.layers.batch_normalization
• tf.contrib.layers.batch_norm

这些都有不同的论点和文档。

它们之间有什么区别，我应该使用哪一个？

Answer 1

它们实际上非常不同。

• nn.batch_normalization 执行基本操作(即简单的标准化)
• layers.batch_normalization 是一个 batchnorm“层”，即它负责设置可训练参数等。归根结底，它是 nn.batch_normalization 的包装器。这很可能就是您想要使用的，除非您想自己设置变量等。

这类似于 nn.conv2d 和 layers.conv2d 之间的区别，例如。

至于 contrib 版本，我不能肯定地说，但在我看来它像是一个实验版本，带有一些在“常规”层中不可用的额外参数一个。