python - 传入 session 时 Tensorflow Multiprocessing pickle rlock 错误

Question

我创建了一个非常简单的 Tensorflow 程序来测试多处理(如下所示)，但我不断收到错误:

类型错误:无法pickle _thread.Rlock对象

我注意到，如果我不传入 Tensorflow session ，而只是在 test_f2 函数中创建它，那么我的下面的程序可以完美运行，因此它一定与在多处理情况下传入 Tensorflow session 有关。

有人知道我该如何解决这个问题吗？非常感谢!

import tensorflow as tf
import multiprocessing
def test_f2(x, sess):
    import tensorflow as tf
    a = tf.Variable(x, name='a')
    b = tf.Variable(100, name='b')
    c = tf.multiply(a, b, name='c')
    sess.run(tf.global_variables_initializer())
    out = sess.run(c)
    sess.close()
    print("OK: %s" % out)

if __name__ == '__main__':
    num_procs = 2
    procs_list = []
    for i in range(num_procs):
        new_session = tf.Session()
        p = multiprocessing.Process(target=test_f2, args=(i, new_session))
        p.daemon = True
        p.start()
        procs_list.append(p)
    for p in procs_list:
        p.join()

我使用的是 Tensorflow-GPU 1.14.0 和 Python 3.7.4。

Answer 1

对于初学者，将所有导入移至文件顶部(test_f2() 顶部仍有一个导入。

但更大的问题是它尝试在多个不同进程之间共享 session 的方式。 session 依赖于父进程中的内存寻址，子进程无法访问该内存寻址(multiprocessing 为 true fork 和 exec 类型进程生成，它不是线程，并且子进程不共享内存空间)。您需要在子进程中创建 session ，共享您的编码方式是行不通的。