python - 父进程死亡时如何终止Python `ProcessPoolExecutor`？

Question

如果父进程因任何原因终止，有没有办法使 concurrent.futures.ProcessPoolExecutor 中的进程终止？

一些细节:我在处理大量数据的作业中使用 ProcessPoolExecutor。有时我需要使用 kill 命令终止父进程，但是当我这样做时，来自 ProcessPoolExecutor 的进程继续运行，我也必须手动杀死它们。我的主要工作循环如下所示:

with concurrent.futures.ProcessPoolExecutor(n_workers) as executor:
    result_list = [executor.submit(_do_work, data) for data in data_list]
    for id, future in enumerate(
            concurrent.futures.as_completed(result_list)):
        print(f'{id}: {future.result()}')

如果父进程死亡，我可以在此处添加什么或做不同的事情以使 executor 中的子进程终止吗？

Answer 1

您可以在每个进程中启动一个线程以在父进程死亡时终止:

def start_thread_to_terminate_when_parent_process_dies(ppid):
    pid = os.getpid()

    def f():
        while True:
            try:
                os.kill(ppid, 0)
            except OSError:
                os.kill(pid, signal.SIGTERM)
            time.sleep(1)

    thread = threading.Thread(target=f, daemon=True)
    thread.start()

用法:将initializer和initargs传递给ProcessPoolExecutor

with concurrent.futures.ProcessPoolExecutor(
        n_workers,
        initializer=start_thread_to_terminate_when_parent_process_dies,  # +
        initargs=(os.getpid(),),                                         # +
) as executor:

即使父进程是 SIGKILL/kill -9 的，这仍然有效。