python - 如何使用 session 的权重来初始化新 session 的权重？

Question

我有一个关于 tensorflow 的问题；我的网络限制是固定的，但由于每种情况的一些局部特征，我想用许多不同的情况来训练它；由于输入(不同情况)是“相似的”，我想使用前一个的训练结果来初始化这个新的学习。我尝试过以下内容(我简化了我的代码)，有人对实现这个有更好的想法吗？谢谢

   cae_in = tf.placeholder(tf.float32,(some size))

   cae_out = tf.placeholder(tf.float32,(None,(some size))

   out = some_function(cae_in) 

   loss = tf.reduce_mean(tf.square(out-cae_out))

   optimiser = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)

   init_op = tf.global_variables_initializer()

   with tf.Session() as sess:
       init_op.run()

       for inx in range(all_cases):
           feed_in = some array[i]
           feed_in2 = some array[i]

           for iteration in range(0,n_iterations):
               sess.run([optimiser], feed_dict = {cae_in: feed_in,cae_out:feed_in2})

Answer 1

在检查点完成一个 session 后，您可以尝试保存可训练变量:

saver = tf.train.Saver(tf.trainable_variables())

with tf.Session():
    ...
    saver.save()

并在开始另一次训练之前从该检查点恢复。