python - 使用多处理时拥有全局变量是否有效？

Question

请考虑这个很酷的设置:

from multiprocessing import Pool, cpu_count
import pandas as pd
import numpy as np

def helper(master_df):
    max_index = master_df['key'].max()
    min_index = master_df['key'].min()
    #note how slave is defined before running the multiprocessing
    return slave.iloc[min_index:max_index,]

from datetime import datetime

master = pd.DataFrame({'key': [1,2,3,4,5,6,7,8,9,10]})
slave = pd.DataFrame({'key': [1,2,3,4,5,6,7,8,9,10],
                      'value' : ['a','b','c','d','e','f','g','h','i','j']})

if __name__ == '__main__':
     startTime = datetime.now()
     p = Pool(cpu_count() - 1)
     ret_list = p.map(helper, [master.iloc[1:5,], master.iloc[5:10,]])
     print datetime.now() - startTime
     print ret_list

本质上，我在内存中有两个数据帧。

正如您在主多处理代码中所见，p.map 接收 master 数据帧的两个 block 作为参数。

然后，(我想)multiprocessing 生成的每个进程将访问 slave 数据帧并使用它(无需修改)。实际上，您可以在 helper 函数中看到，每个进程都会对 slave 数据帧进行切片，并对其进行一些计算。

我的问题是:在每个进程访问的全局命名空间中定义一个数据帧是否有效？我不确定在 RAM 利用率方面会发生什么(slave 是否在每个进程的内存中复制？)。这不是一个好主意，因为实际上 master 和 slave 都非常大。

我想另一种方法是发送一个 tuple 到 p.map，它包含分块的 master 和相应的切片 slave 数据帧。不确定这是个好主意(以及如何正确地做到这一点)？

有什么想法吗？谢谢!

Answer 1

这出人意料地取决于操作系统，如multiprocessing is implemented differently in Windows and Linux .

• 在 Linux 中，进程是通过 fork 变体创建的，其中子进程最初与父进程共享相同的地址，然后执行 COW(写时复制) .在 Linux 下，我经常让子进程访问一个只读的全局 DataFrame，一切都很好(包括性能)。

• 在 Windows 中，在幕后，显然，整个进程都在旋转，将 DataFrame 复制到它可能会导致性能下降(除非它完成的处理量大到可以忽略不计的成本) ，但我从未在 Windows 上使用过 Python，因此没有使用它的经验。

编辑

一个使用 joblib 的例子使用数据框:

import joblib
import pandas as pd

df = pd.DataFrame(dict(a=[1, 3], b=[2, 3]))

def foo(i, df):
    return df + i

from joblib import Parallel, delayed
Parallel(n_jobs=2)(delayed(foo)(i, df) for i in range(10))

您还可以将 df 用作全局变量:

def foo(i):
    return df + i

from joblib import Parallel, delayed
Parallel(n_jobs=2)(delayed(foo)(i) for i in range(10))