python - Producer/Consumer 多个生产者和单个消费者写入文件 Python

Question

我的要求类似于Multiple producers, single consumer除了我在 python 中需要它

我创建了一个产生 5 个并发进程的应用程序(我正在使用多处理库)。这 5 个进程独立地生成 dict 格式的输出。

之前我将输出打印到控制台，但现在想将它输出到文件。

我正在寻找一种模式，我的所有 5 个生产者都写入一个支持并发写入的共享队列。

单个消费者进程也可以访问此队列并使用其中的数据，如果没有数据可写则可以等待，并在生产者完成任务后终止。

谢谢阿努杰

Answer 1

因为您已经在使用多进程，所以您只需要 Queue 类

和一个示例(从队列文档修改)

from multiprocessing import Process, Queue

def child(q, url):
    result = my_process(url)
    q.put(result)

if __name__ == '__main__':
    q = Queue()
    urls = [...]
    children = []
    for url in urls:
       p = Process(target=child, args=(q,url))
       p.start()
       children.append(p)
    for p in children:
       p.join()
       print q.get() #or write to file (might not be the answer from this child)

编辑:对于每个 child 的多个答案，将最后一个 for 循环替换为:

while 0 != multiprocessing.active_children():
    print q.get()