tensorflow - 在 TensorFlow 中，是否可以对网络的不同部分使用不同的学习率？

Question

我想到的用例是向预训练网络添加更多层，我想调整整个网络。但是，我希望新添加的层具有比现有层更大的学习率。可以在 TensorFlow 中做到这一点吗？

Answer 1

您可以使用提到的类似方法 here

基本上在你想用单独的学习率训练的网络的每个部分周围设置一个不同的 var 范围，然后:

optimizer1 = tf.train.AdagradOptimzer(0.0001)
optimizer2 = tf.train.AdagradOptimzer(0.01)

first_train_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,
                                 "scope/prefix/for/first/vars")
first_train_op = optimizer1.minimize(cost, var_list=first_train_vars)

second_train_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,
                                  "scope/prefix/for/second/vars")                     
second_train_op = optimizer2.minimize(cost, var_list=second_train_vars)