python - 如何在 TensorFlow 中将顺序操作与副作用结合起来

Question

我正在 TensorFlow 中开发 GAN。目前训练安排为

feed_dict = ...
sess.run(discriminator_train_op, feed_dict);
sess.run(generator_train_op, feed_dict);
sess.run(generator_train_op, feed_dict);

我们每一步训练生成器两次，因为我们发现它可以带来更好的稳定性。

现在我想将这些操作组合在一起，因此我只需要向网络提供一次，因为 Tensorflow 中的提供速度很慢。我试过了

with tf.control_dependencies([discriminator_train_op]):
    train_op = tf.group(generator_train_op);
with tf.control_dependencies([train_op]):
    train_op = tf.group(generator_train_op);

据说control_dependency指定一个操作必须在另一操作之后发生。但分析时间线显示，生成器中完成的某些梯度下降与判别器中的梯度下降是平行的。换句话说，该命令并未得到执行。此外，通过在网络中添加调试语句，我发现组合的 train_op 仅训练生成器一次，而不是两次。

有什么方法可以将这一系列操作的控制从 Python 转移到 Tensorflow 吗？

Answer 1

with tf.control_dependencies([discriminator_train_op]):
    train_op_g1 = tf.group(generator_train_op);
with tf.control_dependencies([train_op_g1]):
    train_op_g2 = tf.group(generator_train_op);

sess.run([discriminator_train_op, train_op_g1, train_op_g2], feed_dict)