machine-learning - OpenAI 基线 : Why simultaneously use `tf.stop_gradient` and specify `var_list` ?

Question

在 OpenAI 基线代码 DQN 上, tf.stop_gradient 是在构建操作图时对目标网络的 q 值使用的，以防止目标 q 值对损失最小化的贡献。 (第 213 行)

但是，在调用 minimize 时，var_list 仅指定为 tf.Variable，其范围属于正在优化的 q 网络，排除目标 q 网络下作用域的变量。 (第223行)

我不知道他们为什么要同时做这两件事。这两种方法似乎达到了相同的结果。

Answer 1

这是多余的。 IMO 代码读起来更好 - 您知道梯度不会流经该表达式，并且您还确切知道哪些变量将受到影响。

确实足以达到同等效果。