python - 如何使用两个损失函数训练模型？

Question

我有一个带有两个损失函数的 TensorFlow 图。我想训练我的模型:

1. 使用第一个损失函数训练模型。
2. 使用第二个损失函数训练模型。
3. 重复一和二直至收敛。

我是否必须创建两个图表，然后加载、训练并保存每一步的权重？或者是否可以用单个图表来实现这一目标？

Answer 1

是的，这是可能的:

import tensorflow as tf

x = tf.get_variable('x', initializer=42.)
y = tf.square(x)

optimizer = tf.train.GradientDescentOptimizer(0.1)

train_min = optimizer.minimize(y)  # minimize x*x
train_max = optimizer.minimize(-y) # maximize x*x

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    for _ in range(20):
        cost, _ = sess.run([y, train_min])
        print(cost)
        cost, _ = sess.run([y, train_max])
        print(cost)

如果您不介意在同一批处理上最小化两个成本函数，您甚至可以编写

import tensorflow as tf

x = tf.get_variable('x', initializer=42.)
y = tf.square(x)

optimizer = tf.train.GradientDescentOptimizer(0.1)

train_min = optimizer.minimize(y)

with tf.control_dependencies([train_min]):
    train_min_then_max = optimizer.minimize(-y)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    for _ in range(20):
        cost, _ = sess.run([y, train_min_then_max])
        print(cost)

它通过单​​个 sess.run 调用进行优化。