python - 批量归一化，是还是否？

Question

我使用 Tensorflow 1.14.0 和 Keras 2.2.4。以下代码实现了一个简单的神经网络:

import numpy as np
np.random.seed(1)
import random
random.seed(2)
import tensorflow as tf
tf.set_random_seed(3)

from tensorflow.keras.models import Model, Sequential
from tensorflow.keras.layers import Input, Dense, Activation


x_train=np.random.normal(0,1,(100,12))

model = Sequential()
model.add(Dense(8, input_shape=(12,)))
# model.add(tf.keras.layers.BatchNormalization())
model.add(Activation('linear'))
model.add(Dense(12))
model.add(Activation('linear'))
model.compile(optimizer='adam', loss='mean_squared_error')
model.fit(x_train, x_train,epochs=20, validation_split=0.1, shuffle=False,verbose=2)

20 个 epoch 后的最终 val_loss 为 0.7751。当我取消注释唯一的注释行以添加批量归一化层时，val_loss 更改为 1.1230。

我的主要问题要复杂得多，但同样的事情也会发生。由于我的激活是线性的，因此将批量归一化放在激活之后还是之前并不重要。

问题:为什么批量标准化没有帮助？我可以改变什么，以便批量标准化在不改变激活函数的情况下改善结果吗？

收到评论后更新:

具有一个隐藏层和线性激活的神经网络有点像 PCA。关于这一点有大量的论文。对我来说，此设置在隐藏层和输出的激活函数的所有组合中给出了最小的 MSE。

一些说明线性激活意味着 PCA 的资源:

https://arxiv.org/pdf/1702.07800.pdf

https://link.springer.com/article/10.1007/BF00275687

https://www.quora.com/How-can-I-make-a-neural-network-to-work-as-a-PCA

Answer 1

是的。

你观察到的行为是一个错误——你不需要 BN 就能看到它；左边的图是#V1，右边的图是#V2:

#V1
model = Sequential()
model.add(Dense(8, input_shape=(12,)))
#model.add(Activation('linear')) <-- uncomment == #V2
model.add(Dense(12))
model.compile(optimizer='adam', loss='mean_squared_error')

显然是无意义的，因为在带有 activation=None (=='linear') 的层之后的 Activation('linear') 是一个身份:model.layers[1].output.name == 'activation/activation/Identity:0'。这可以通过获取和绘制中间层输出来进一步确认，这些输出对于 'dense' 和 'activation' 是相同的 - 此处将省略。

所以，激活实际上什么也没做，除了它没有 - 在 1.14.0 和 2.0.0 之间的提交链上的某个地方，这个问题被修复了，尽管我不知道在哪里。使用 TF 2.0.0 和 Keras 2.3.1 进行 BN 的结果如下:

val_loss = 0.840 # without BN
val_loss = 0.819 # with BN

<小时/>

解决方案:更新到 TensorFlow 2.0.0、Keras 2.3.1。

提示:使用 Anaconda带虚拟环境。如果您还没有任何虚拟环境，请运行:

conda create --name tf2_env --clone base
conda activate tf2_env
conda uninstall tensorflow-gpu
conda uninstall keras
conda install -c anaconda tensorflow-gpu==2.0.0
conda install -c conda-forge keras==2.3.1

可能比这更复杂一些，但这是另一个问题的主题。

<小时/>

更新:从 keras 而不是 tf.keras 导入也可以解决问题。

<小时/>

免责声明:BN 在 Keras 中仍然是一个“有争议”的层，尚未完全修复 - 请参阅 Relevant Git ;我计划最终亲自调查它，但出于您的目的，这个答案的修复应该足够了。

我还建议您熟悉 BN 的基础理论，特别是关于它的训练与推理操作；简而言之，批量大小低于 32 是一个非常糟糕的主意，并且数据集应该足够大，以允许 BN 准确地近似测试集 gamma 和 beta。

<小时/>

使用的代码:

x_train=np.random.normal(0, 1, (100, 12))

model = Sequential()
model.add(Dense(8, input_shape=(12,)))
#model.add(Activation('linear'))
#model.add(tf.keras.layers.BatchNormalization())
model.add(Dense(12))
model.compile(optimizer='adam', loss='mean_squared_error')

W_sum_all = []  # fit rewritten to allow runtime weight collection
for _ in range(20):
    for i in range(9):
        x = x_train[i*10:(i+1)*10]
        model.train_on_batch(x, x)

        W_sum_all.append([])
        for layer in model.layers:
            if layer.trainable_weights != []:
                W_sum_all[-1] += [np.sum(layer.get_weights()[0])]
model.evaluate(x[-10:], x[-10:])

plt.plot(W_sum_all)
plt.title("Sum of weights (#V1)", weight='bold', fontsize=14)
plt.legend(labels=["dense", "dense_1"], fontsize=14)
plt.gcf().set_size_inches(7, 4)

导入/预执行:

import numpy as np
np.random.seed(1)
import random
random.seed(2)
import tensorflow as tf
if tf.__version__[0] == '2':
    tf.random.set_seed(3)
else:
    tf.set_random_seed(3)

import matplotlib.pyplot as plt
from tensorflow.keras.models import Model, Sequential
from tensorflow.keras.layers import Input, Dense, Activation