python - 为什么tf.layers.batch_normalization的参数 'scale'在下一层是relu时被禁用？

Question

在 tf.layers.batch_normalization 的 tensorflow 文档中，据说“当下一层是线性的(也例如 nn.relu)时，这个('scale' 的参数)可以被禁用，因为缩放可以由下一层完成。” ？好像不对，因为当下一层是nn.relu时，线性系数是一个不变量常量(1)，这个值不会被sacled。

Answer 1

nn.relu 之后的层通常是线性的。在 ReLu 之前或之后做一些缩放不会改变任何东西(如果 L 是线性的，L(relu(x))=relu(L(x)) for all x)，因此在 bartch 归一化之后进行缩放并在下一层进行缩放是多余的。

因此，如果在 ReLu 之后有另一个线性层(通常是这种情况)，则可以跳过批归一化后跟 ReLu 的缩放。