tensorflow - Keras 是否计算卡住层的梯度？

Question

我使用带有 tensorflow 后端的 Keras。
Keras 仍然会计算我设置的层的梯度trainable = False 吗？

当我修复大部分层时，我没有观察到深度网络(如 Resnet-50)的加速。看起来固定层的梯度仍在计算，但它们的值乘以 0。谁能告诉我这是真的吗？

这是一个小型网络的示例，我在其中修复了第一层。

import numpy as np
import keras
import keras.applications.resnet50

x = keras.layers.Input(shape=(5,))
y = keras.layers.Dense(5)(x)

z = keras.layers.Dense(5)(y)
model = keras.models.Model(x, z)
for layer in model.layers[:2]:
    layer.trainable = False

model.compile(optimizer='rmsprop', loss='mse')
print model.summary()

X = np.random.rand(100, 5)

model.fit(X, X, epochs=100)

Answer 1

如果您查看源代码，您会发现梯度仅根据_trainable_weights计算。

但请注意，要计算任何梯度，您无论如何都需要通过网络进行完整的前向传递。然后，您还需要一路反向传播到第一个可训练层的输入。因此， yield 可能确实没有您预期的那么大(这并不是说如果您将一半的权重设置为不可训练，您就会获得 2 倍的加速)。

在您的情况下，拥有不可训练的最后一个权重只会为您节省四次矩阵乘法中的一次(2 个向前，2 个向后)。如果我在有或没有可训练第一层的情况下测量代码的运行时间，我会看到 1.4 秒与 1.15 秒的差异(Tensorflow CPU)或 13 秒与 11 秒(Theano CPU 纯 Python)，这对我来说看起来很合理。

如果您比较更长的网络(例如，在示例中添加 10 层)，则根据我在(Theano pure-Python)上的测量，所有层均可训练和仅最后一层可训练之间的差异大约为 10 秒与 50 秒。

请注意，您通常不应期望性能增益超过 50%，因为您本质上只保存了向后传递的一部分。 5 倍的巨大胜利很可能只能归功于 Theano 的优化，它将所有没有激活的不可训练密集层组合到单个矩阵乘法中。事实上，在 Tensorflow 上我只看到 1.5 秒与 2.0 秒的差异。