python - 如何在Python的进程之间共享非常大的字典

Question

我已经阅读了有关Python multiprocessing: sharing a large read-only object between processes?的文章，但仍不确定下一步如何进行。

这是我的问题:

我正在使用 multiprocessing 分析数百万个字符串的数组，并且每个字符串都需要根据一个大的dict进行检查，该字典包含大约200万个(可能更高)键。它的值是名为Bloomfilter的自定义Python类的对象(因此它们不只是简单的int或float或array)，并且其大小从几字节到1.5 Gb不等。对每个字符串的分析基本上是检查一个字符串是否在字典中的一定数量的Bloomfilter中。取决于字符串本身来决定哪些bloomfilters是相关的。该字典是30G sqlite3 db的转换。这样做的动机是将整个sqlite3 db加载到内存中以加快处理速度，但是我还没有找到一种有效共享指令的方法。我的系统中大约有100G内存。

这是我尝试过的:

每个字符串的分析都是受CPU限制的，因此我选择了多处理而不是多线程。关键是如何在不复制的情况下共享进程中的重要命令。 multiprocess.Value和multiprocessing.Array无法处理像dict这样的复杂对象。我已经尝试过multiprocessing.Manager()，但是由于字典太大，我收到了IOError: bad message length错误。我也尝试过在本地主机上使用内存数据库，例如Redis，但是位数组太大，无法放入其中，该位数组也无法容纳，这使我觉得在进程之间传递大消息也太合适了。贵(是吗？)

我的问题:

在不同的进程(或线程，如果有规避GIL的方法)之间共享此类词典的正确方法是什么？如果需要使用数据库，应该使用哪个数据库？我需要非常快速的读取，并且数据库应该能够存储很大的值。 (尽管我认为数据库不起作用，因为传递非常大的值将不起作用，对吗？如果我写错了，请纠正我)

Answer 1

事实证明@Max和@Dunes都是正确的，但是我不需要直接使用os.fork()或全局变量。伪代码如下所示，只要在big_dict中未修改worker，内存中似乎只有一个副本。但是，我不确定这种写时复制功能在类unix的OS世界中是否通用。我正在运行我的代码的OS是 CentOS版本5.10(最终版)。

from multiprocessing import Process, Lock

def worker(pid, big_dict, lock):
    # big_dict MUST NOT be modified in the worker because of copy-on-write
    pass
    # do some heavy work

def main():
    big_dict = init_a_very_big_dict()

    NUM_CPUS = 24
    lock = Lock()
    procs = []
    for pid in range(NUM_CPUS):
        proc = Process(target=worker, args=(pid, big_dict, lock))
        proc.daemon = True
        procs.append(proc)
        proc.start()

    for proc in procs:
        proc.join()