python - 在 Tensorflow 中微调深度神经网络

Question

我想在 Tensorflow 中部分微调预训练的深度神经网络(例如，加载所有层的权重，但只更新更高层的权重)。

Tensorflow 中是否有任何方法允许选择应更改的变量和应保持不变的变量？

提前致谢!

Answer 1

当您创建一个优化器(例如 tf.train.AdagradOptimizer)来训练您的模型时，您可以将显式 var_list=[...] 参数传递给 Optimizer.minimize()方法。 (如果您不指定此列表，它将默认包含 tf.trainable_variables() 中的所有变量。)

例如，根据您的模型，您可以使用变量名称来定义要优化的变量列表:

# Assuming all variables to be fine-tuned have a name that starts with
# "layer17/".
opt_vars = [v for v in tf.trainable_variables() if v.name.startswith("layer17/")]

train_op = optimizer.minimize(loss, var_list=opt_vars)