python - 使用多处理读取多个文件

Question

我需要读取一些非常大的文本文件(100+ Mb)，用正则表达式处理每一行并将数据存储到一个结构中。我的结构继承自 defaultdict，它有一个读取 self.file_name 文件的 read(self) 方法。

看看这个非常简单(但不是真实)的例子，我没有使用正则表达式，但我正在拆分行:

import multiprocessing
from collections import defaultdict

def SingleContainer():
    return list()

class Container(defaultdict):
    """
    this class store odd line in self["odd"] and even line in self["even"].
    It is stupid, but it's only an example. In the real case the class
    has additional methods that do computation on readen data.
    """
    def __init__(self,file_name):
        if type(file_name) != str:
            raise AttributeError, "%s is not a string" % file_name
        defaultdict.__init__(self,SingleContainer)
        self.file_name = file_name
        self.readen_lines = 0
    def read(self):
        f = open(self.file_name)
        print "start reading file %s" % self.file_name
        for line in f:
            self.readen_lines += 1
            values = line.split()
            key = {0: "even", 1: "odd"}[self.readen_lines %2]
            self[key].append(values)
        print "readen %d lines from file %s" % (self.readen_lines, self.file_name)

def do(file_name):
    container = Container(file_name)
    container.read()
    return container.items()

if __name__ == "__main__":
    file_names = ["r1_200909.log", "r1_200910.log"]
    pool = multiprocessing.Pool(len(file_names))
    result = pool.map(do,file_names)
    pool.close()
    pool.join()
    print "Finish"      

最后，我需要将每个结果加入一个容器中。保留行的顺序很重要。返回值时我的方法太慢了。更好的解决方案？我在 Linux 上使用 python 2.6

Answer 1

您可能遇到了两个问题。

提到了其中一个:您正在一次读取多个文件。这些读取最终会交错，导致磁盘抖动。您希望一次读取整个文件，然后仅对数据进行多线程计算。

其次，您遇到了 Python 的多处理模块的开销。它实际上并没有使用线程，而是启动多个进程并通过管道序列化结果。这对于批量数据来说非常慢——事实上，它似乎比您在线程中所做的工作要慢(至少在示例中是这样)。这就是 GIL 带来的现实问题。

如果我修改 do() 以返回 None 而不是 container.items() 以禁用额外的数据复制，只要文件已经被缓存，这个例子就比单线程快:

两个线程:0.36elapsed 168%CPU

一个线程(用 map 替换 pool.map):0:00.52elapsed 98%CPU

不幸的是，GIL 问题是根本性的，无法从 Python 内部解决。