python - 无法让多处理工作

Question

我必须实现一个并行软件来计算大规模距离矩阵。

这是我写的代码:

subset = #[list of proper objects]
nthreads = 10

def compute_distance_corcoeff(geneset, offset, q):
    for i in range(offset, len(geneset), nthreads):
        g1 = geneset[i]
        dvect = [np.corrcoef(g1.expr, g2.expr)[0,1] for g2 in geneset]
        q.put((i,dvect))

queue = Queue()
processes = []
for off in range(nthreads):
    processes.append(Process(target=compute_distance_corcoeff, args=(subset, off, queue)))

for p in processes:
    p.start()
for p in processes:
    p.join()

然后我将从队列中收集部分结果。

不幸的是，看起来什么也没发生。它似乎卡在 join() 处。

我在这里缺少什么？

Answer 1

如 multiprocessing programming guidelines 中所述，您必须先清空Queue，然后才能加入Process。

您的逻辑最终陷入死锁，因为进程无法终止，因为它们正在等待 Queue 中的消息被使用。