python - 在 Python 中并行读取和过滤文件

Question

我有一个简单的脚本，它首先读取一个 CSV 表(95MB，672343 行)并从中创建 5 个列表(字符、类型、名称、开始、结束)。然后它打开另一个文件(37MB，795516 行)，读取每一行并将其与 进行比较，如果一切正常 - 将字符串写入输出文件。这需要很多时间。

for line in inputFile:
    line = line[0:len(line) - 1]
    arr = line.split('\t')
    for i in xrange(len(chrs)):
        if (arr[0]==chrs[i]) and (int(arr[1])>=int(starts[i])) and  (int(arr[1])<=int(ends[i])):
            outputFile.write(chrs[i]+ '\t' + types[i] + '\t' + starts[i] + '\t' + ends[i] + '\t' + names[i] + '\t' + line + '\n');

我想知道是否可以并行运行它，我可以访问服务器，在那里我可以同时运行多达 10 个进程。

Answer 1

问题是，你迭代 672343 * 795516 = 534'859'613'988 次，这是很多次。您需要更智能的解决方案。

所以我们发现问题是我们查看了太多数据，我们需要改变它。做到这一点的一种方法是尝试变得聪明。也许创建一个字典，其中的键对应于 chr 所以我们只需要检查这些条目。但是我们还没有处理 start 和 end 呢。也许也有一种聪明的方法可以做到这一点……

这看起来很像一个数据库。所以如果它是一个数据库，也许我们应该把它当作一个。 Python 附带了 sqlite3。

这是一个解决方案，但还有无数其他可能性。

import sqlite3
import csv

# create an in-memory database
conn = sqlite3.connect(":memory:")

# create the tables
c = conn.cursor()
c.execute("""CREATE TABLE t1 (
    chr   TEXT,
    type  TEXT,
    name  TEXT,
    start INTEGER,
    end   INTEGER
);""")

# if you only have a few columns, just name them all,
# if you have a lot, maybe just put everything in one
# column as a string
c.execute("""CREATE TABLE t2 (
    chr TEXT,
    num INTEGER,
    col3,
    col4
);""")

# create indices on the columns we use for selecting
c.execute("""CREATE INDEX i1 ON t1 (chr, start, end);""")
c.execute("""CREATE INDEX i2 ON t2 (chr, num);""")

# fill the tables
with open("comparison_file.csv", 'rb') as f:
    reader = csv.reader(f)
    # sqlite takes care of converting the number-strings to numbers
    c.executemany("INSERT INTO t1 VALUES (?, ?, ?, ?, ?)", reader)

with open("input.csv", 'rb') as f:
    reader = csv.reader(f)
    # sqlite takes care of converting the number-strings to numbers
    c.executemany("INSERT INTO t2 VALUES (?, ?, ?, ?)", reader)

# now let sqlite do its magic and select the correct lines
c.execute("""SELECT t2.*, t1.* FROM t1
             JOIN t2 ON t1.chr == t2.chr
             WHERE t2.num BETWEEN t1.start AND t1.end;""")

# write result to disk
with open("output.csv", "wb") as f:
    writer = csv.writer(f)
    for row in c:
        writer.writerow(row)

Python 编码技巧

这是我编写您的原始代码的方式。

import csv

# used to be chrs[], type[], name[], start[], end[]
comparisons = []
with open("comparison_file.csv", 'rb') as f:
    reader = csv.reader(f)
    for chr, type, name, start, end in reader:
        comparisons.append([chr, type, name, int(start), int(end)])

with open("output.csv", 'wb') as out_file, \
     open("input.csv", 'rb') as in_file:
    writer = csv.writer(out_file)
    reader = csv.reader(in_file)

    for line in reader:
        for comp in comparisons:
            chr, _, _, end, start = *comp
            if line[0] == chr and \
               int(line[1]) >= start and \
               int(line[2]) >= end:
                writer.writerow(comp + line)

备注1

line = line[0:len(line) - 1]

可以写成

line = line[:-1]

备注2

代替

my_list = [1,2,3]
for i in xrange(len(my_list)):
    # do something with my_list[i]

你应该这样做:

my_list = [1,2,3]
for item in my_list:
    # do something with item

如果您需要索引，请将其与 enumerate() 结合使用。