python - 如何将 Python 和 OpenCV 与多处理一起使用？

Question

我正在使用 Python 3.4.3 和 OpenCV 3.0.0 处理(应用各种过滤器)内存中的非常大的图像 (80,000 x 60,000)，我想使用多个 CPU 内核来提高性能。经过一番阅读，我得出了两种可能的方法:1)使用 python 的 multiprocessing 模块，让每个进程处理大图像的一部分，并在处理完成后加入结果(这可能应该是在 POSIX 系统上执行？) 2)由于 NumPy 支持 OpenMP 而 OpenCV 使用 NumPy，我可以将多处理留给 NumPy 吗？

所以我的问题是:

哪个是更好的解决方案？ (如果它们看起来不合理，可能的方法是什么？)

如果选项 2 不错，我是否应该使用 OpenMP 构建 NumPy 和 OpenCV？我将如何实际进行多处理？ (我真的找不到有用的说明..)

Answer 1

在阅读了一些 SO 帖子之后，我想出了一种在 Python3 中使用 OpenCV 和 multiprocessing 的方法。我建议在 Linux 上这样做，因为根据 this post ，只要内容未更改，派生的进程就会与其父进程共享内存。这是一个最小的例子:

import cv2
import multiprocessing as mp
import numpy as np
import psutil

img = cv2.imread('test.tiff', cv2.IMREAD_ANYDEPTH) # here I'm using a indexed 16-bit tiff as an example.
num_processes = 4
kernel_size = 11
tile_size = img.shape[0]/num_processes  # Assuming img.shape[0] is divisible by 4 in this case

output = mp.Queue()

def mp_filter(x, output):
    print(psutil.virtual_memory())  # monitor memory usage
    output.put(x, cv2.GaussianBlur(img[img.shape[0]/num_processes*x:img.shape[0]/num_processes*(x+1), :], 
               (kernel_size, kernel_size), kernel_size/5))
    # note that you actually have to process a slightly larger block and leave out the border.

if __name__ == 'main':
    processes = [mp.Process(target=mp_filter, args=(x, output)) for x in range(num_processes)]

    for p in processes:
        p.start()

    result = []
    for ii in range(num_processes):
        result.append(output.get(True))

    for p in processes:
        p.join()

不使用Queue，另一种从进程收集结果的方法是通过multiprocessing 模块创建一个共享数组。 (必须导入 ctypes)

result = mp.Array(ctypes.c_uint16, img.shape[0]*img.shape[1], lock = False)

然后假设没有重叠，每个进程可以写入数组的不同部分。但是，创建大型 mp.Array 的速度出奇地慢。这实际上违背了加速运行的目的。因此，仅当与总计算时间相比增加的时间不多时才使用它。这个数组可以通过以下方式变成一个 numpy 数组:

result_np = np.frombuffer(result, dtypye=ctypes.c_uint16)