python - 动态设置tensorflow变量的训练能力

Question

我有一个包含多个变量的多个范围的网络。我需要一种方法来设置特定变量或名称范围的训练能力，以便它们不会更新并且不会包含在梯度计算中，然后在某些条件下将它们设置为可训练。有可能吗？如果是，怎么做？

with tf.name_scope('layer1'):
     w = tf.Variable(...)
     b = tf.Variable(...)
     ... some function ...
with tf.name_scope('layer2'):
     w = tf.Variable(...)
     b = tf.Variable(...)
     ... some function ...
with tf.name_scope('layer3'):
     w = tf.Variable(...)
     b = tf.Variable(...)
     ... some function ...

我想更改第一个范围内变量的训练能力，因为它们是从预训练文件中恢复的，并且已经学习过。所以，我想训练其他层中的变量，直到它们被学习，然后将第一个范围中的变量的可训练能力设置回 True 并一起训练它们。

Answer 1

您可以使用的一件事是每个优化器都有的 var_list 参数:https://www.tensorflow.org/api_docs/python/tf/train/Optimizer

文档说:

var_list: Optional list of Variable objects to update to minimize loss. Defaults to the list of variables collected in the graph under the key GraphKeys.TRAINABLE_VARIABLES.

在你的情况下你可以说:

optimizer = GradientDescentOptimizer(0.01)
optimizer.minimize(loss,[w1,w2])

如果这有帮助，请告诉我们!