python - python 中的并行/多重处理

Question

我以前是一名仅使用 Matlab 的用户，现在正在自学 Python。我现在正在学习如何使用Python 的并行处理。 Matlab 的并行编程在很大程度上主要通过单个命令来执行:parfor。简单。

Python 中的可用选项似乎比 Matlab 中的要多得多。这是压倒性的。例如，在 multiprocessing 包中，我找到了 Pool 和 Process 类，每个类都允许多个参数和选项。

鉴于我是 python 新手，并且我正在自学，是否有人会花几分钟时间解释一下 Pool 和 Process 之间的总体区别>？什么时候使用Pool与Process更合适？

对于上下文:我当前的编程工作要求我并行化输出数据向量的函数。该函数接受多个参数，但本质上是一个我想并行运行的 for 循环。

非常感谢您的帮助!

Answer 1

multiprocessing 模块的 Process 类旨在运行 Python 可调用(具有已实现的 __call__ 方法/协议(protocol)的函数或类实例)单独的Python进程，从而并行执行可调用的。示例:

import time
import multiprocessing


def stall(secs: int):
    time.sleep(secs)
    print('Slept for', secs, 'seconds')


if __name__ == '__main__':
    # create process which will be executed in parallel
    proc = multiprocessing.Process(target=stall, args=(2,))

    # start parallel process execution
    proc.start()

    # execute code in main process...
    print('I am in main process')

    # wait for parallel executed process to finish
    proc.join()

池表示此类工作人员/进程的集合。池中的工作线程数量由类构造函数的 processes 参数设置(默认情况下它等于 os.cpu_count() 返回的值)。因此，如果您想并行执行不同的函数或具有不同参数的同一函数，您可以使用工作池，而不是手动创建进程。示例:

import time
import multiprocessing


def stall(secs: int):
    time.sleep(secs)
    print('Slept for', secs, 'seconds')


if __name__ == '__main__':
    # create pool of parallel executed workers
    pool = multiprocessing.Pool()

    # call the 'stall' function in parallel with different arguments
    for secs in (3, 2, 4, 1):
        pool.apply_async(stall, (secs,))

    # or just apply parallel version of the 'map' function
    # pool.map_async(stall, (3, 2, 4, 1))

    # close the pool of workers
    pool.close()

    # execute code in main process...
    print('I am in main process')

    # wait for all processes in the pool to finish
    pool.join()

如池文档中所述:

It supports asynchronous results with timeouts and callbacks and has a parallel map implementation.

希望这会有所帮助。