Python 多处理 : How to close the multiprocessing pool on exception

Question

我正在使用 python 多处理来拆分一个较长的进程并并行运行。它工作正常，除非其中一个子进程出现异常，在这种情况下，进程池没有关闭，我仍然可以在服务器上看到这些进程。

代码如下:

from multiprocessing import Pool
pool = Pool(processes=4)
from functools import partial
param_data = "Test Value"
func = partial(test_function, param_data)
r = pool.map(func, range(3))
pool.close()

def test_function(param_data,index):
   try:
      # The process here;
   except Exception as e:
      # Close the process pool;

在它说的 except block 内给出 pool.close

NameError: global name 'pool' is not defined

我尝试使用以下代码在出现异常时终止进程。

    except Exception as e:
       import os
       import signal
       pid = os.getpid()
       os.kill(pid, signal.SIGTERM) 

但我仍然可以在服务器上看到进程。这仍然不是最好的解决方案，因为这只会终止遇到异常的子进程，其他进程仍将继续。

我希望所有进程在完成时终止，无论它们是否遇到异常。

我正在运行 Python2.7

Ps: 我无法安装像psutil 这样的新库在服务器上，我正在尝试使用标准 python 库的解决方案。

我检查了几个类似的问题，例如 auto kill process and child在这个论坛上，但他们并不是真正的问题。

Answer 1

我找到了解决方案——在父进程中捕获异常。

try:
   pool = Pool(processes=4)
   from functools import partial
   param_data = "Test Value"
   func = partial(test_function, param_data)
   r = pool.map(func, range(3))
except Exception as e:
   pool.close()
pool.close()

并且还在子进程函数中添加一个try/catch:

def test_function(param_data,index):
    try:
       # The process here;
    except Exception as e:
       raise Exception(e.message)          

这里的 except block 看起来是多余的，但实际上不是。原因是子进程抛出的一些异常没有抛给父进程。

例如，我在函数中引发了一个自定义异常，它没有被抛给父进程，所以建议在子进程中捕获所有异常并从那里引发标准异常，然后在父进程中处理它进程，您可以在其中关闭进程池或进行其他清理。