python - 评估步骤中的权重衰减 - Tensorflow

Question

我的权重定义为

weights = {
        'W_conv1': tf.get_variable('W_conv1', shape=[...], dtype=tf.float32, initializer=tf.truncated_normal_initializer(stddev=0.01)),
        'W_conv2': tf.get_variable('W_conv2', shape=[...], dtype=tf.float32, initializer=tf.truncated_normal_initializer(stddev=0.01)),
        'W_conv3': tf.get_variable('W_conv3', shape=[...], dtype=tf.float32, initializer=tf.truncated_normal_initializer(stddev=0.01)),
        ...
}

# conv2d network
...

我想使用权重衰减，因此我添加了参数，例如参数

regularizer=tf.contrib.layers.l1_regularizer(0.0005)

到tf.get_variable。现在我想知道在评估阶段这是否仍然正确，或者我可能必须将正则化因子设置为 0。

还有另一个参数可训练。文档说 If True 还将变量添加到图形集合 GraphKeys.TRAINABLE_VARIABLES. 我不清楚。我应该使用它吗？

有人可以向我解释权重衰减是否以某种错误的方式影响评估步骤吗？这种情况我该如何解决？

Answer 1

权重衰减用于反向传播训练期间的权重更新步骤。评估时没有这样的权重更新，因此评估时没有任何影响。至于可训练的论点，我认为官方文档的摘录非常简洁

When building a machine learning model it is often convenient to distinguish between variables holding the trainable model parameters and other variables such as a global step variable used to count training steps. To make this easier, the variable constructor supports a trainable= parameter. If True, the new variable is also added to the graph collection GraphKeys.TRAINABLE_VARIABLES. The convenience function trainable_variables() returns the contents of this collection. The various Optimizer classes use this collection as the default list of variables to optimize.

因此，为了方便起见，您可以添加它，但这不是强制性的。