Python:解析数组中大表第一列的最快方法

Question

所以我有两个非常大的表想要比较(9 列和大约 3000 万行)。

#!/usr/bin/python
import sys
import csv


def compare(sam1, sam2, output):
    with open(sam1, "r") as s1, open(sam2, "r") as s2, open(output, "w") as out:
    reader1 = csv.reader(s1, delimiter = "\t")
    reader2 = csv.reader(s2, delimiter = "\t")
    writer  = csv.writer(out, delimiter = "\t")
    list = []
    for line in reader1:
        list.append(line[0])
    list = set(list)

    for line in reader2:
        for field in line:
            if field not in list:
                writer.writerow(line)

if __name__ == '__main__':
    compare(sys.argv[1], sys.argv[2], sys.argv[3])

第一列包含我的行的标识符，我想知道哪些行仅在 sam1 中。

这就是我目前正在使用的代码，但需要很长时间。有什么办法可以加快速度吗？

我已经尝试通过将列表转换为集合来加快速度，但没有太大区别。

编辑:现在它运行得更快，但现在我必须从输入表中取出整行，并将具有唯一 ID 的行写入输出文件。我怎样才能快速管理这个问题？

Answer 1

一些建议:

• 无需创建一个列表，然后将其转换为集合，只需直接使用集合即可:

  sam1_identifiers = set()
  for line in reader1:
      sam1_identifiers.add(line[0])
  

  这可能更节省内存，因为您有一个集合而不是一个列表和一个集合。这可能会让速度更快一些。

  另请注意，我已经更改了变量名称 - list 是 Python 内置函数的名称，因此您不应将其用于您自己的变量。

• 由于您想要查找仅在 sam1 中存在的标识符，而不是嵌套的 if/for 语句，因此只需比较并丢弃在 sam2 中找到且位于 sam1 的 ID 集中的任何标识符即可。

  sam2_identifiers = set()
  for line in reader2:
      sam2_identifiers.add(line[0])
  
  print sam1 - sam2
  

  甚至

  sam2_identifiers = set()
  for line in reader2:
      sam1_identifiers.discard(line[0])
  
  print sam1_identifiers
  

  我怀疑这比嵌套循环更快。

• 也许我错过了一些东西，但是你没有仔细查看 sam2 的每一列的每一行吗？与 sam1 一样，仅查看 line[0] 中的标识符还不够吗？