python multiprocessing，管理器启动进程生成循环

Question

我有一个简单的 python 多处理脚本，它设置了一个工作池，试图将工作输出附加到管理器列表。该脚本有 3 个调用堆栈: - 主要调用 f1，它产生几个调用另一个函数 g1 的工作进程。当一个人试图调试脚本时(顺便说一句，在 Windows 7/64 位/VS 2010/PyTools 上)，脚本会进入一个嵌套的进程创建循环，产生无穷无尽的进程。谁能确定为什么？我确定我错过了一些非常简单的东西。这是有问题的代码:-

import multiprocessing
import logging

manager = multiprocessing.Manager()
results = manager.list()

def g1(x):
    y = x*x
    print "processing: y = %s" % y
    results.append(y)

def f1():
    logger = multiprocessing.log_to_stderr()
    logger.setLevel(multiprocessing.SUBDEBUG)

    pool = multiprocessing.Pool(processes=4)
    for (i) in range(0,15):
        pool.apply_async(g1, [i])
    pool.close()
    pool.join()

def main():
    f1()

if __name__ == "__main__":
    main()

PS:尝试将 multiprocessing.freeze_support() 添加到 main 中无济于事。

Answer 1

基本上，sr2222 在他的评论中提到的是正确的。来自multiprocessing manager docs ，它表示 ____main____ 模块必须可由子项导入。每个管理器“对象对应一个派生的子进程”，因此每个子进程基本上都在重新导入您的模块(您可以通过在模块范围内向我的固定版本添加打印语句来查看!)...这会导致无限递归。

一个解决方案是将您的管理器代码移动到 f1() 中:

import multiprocessing
import logging

def g1(results, x):
    y = x*x
    print "processing: y = %s" % y
    results.append(y)

def f1():
    logger = multiprocessing.log_to_stderr()
    logger.setLevel(multiprocessing.SUBDEBUG)
    manager = multiprocessing.Manager()
    results = manager.list()
    pool = multiprocessing.Pool(processes=4)
    for (i) in range(0,15):
        pool.apply_async(g1, [results, i])
    pool.close()
    pool.join()


def main():
    f1()

if __name__ == "__main__":
    main()