python - 在python中查找大量列表的交集

Question

我有一个文件，每行包含空格分隔的数字。每行对应一个数字列表。
现在大约有 300,000 行这样的行(每行平均包含大约 100 个数字)。
我想找到所有此类列表的相互交集，即第一个列表与所有其他列表相交，然后第二个列表与所有其他列表相交，依此类推。
我正在使用

set(a) & set(b)  

其中 a 和 b 是我在双循环中迭代的列表。
但这花费了太多时间。例如:第一个列表与所有其他列表相交，大约需要 3 分钟。
我怎样才能有效地做到这一点？ (可能与其他一些语言/工具一起使用)

Answer 1

你应该在这里使用生成器表达式，它们进行惰性求值并节省大量内存:

In [46]: from itertools import imap

In [47]: a = [[1,2,3], [2,3,4], [3,4,5]]

In [48]: reduce(set.intersection,imap(set,a))
Out[48]: set([3])

考虑到您的文件如下所示:

1 2 3
2 3 4
3 4 5

代码:使用 itertools.combinations():

with open("abc.txt") as f:
    lines=(map(int,x.split()) for x in f)
    for x in combinations(lines,2):
        print x,'-->',reduce(set.intersection,imap(set,x))
   ....:         
([1, 2, 3], [2, 3, 4]) --> set([2, 3])
([1, 2, 3], [3, 4, 5]) --> set([3])
([2, 3, 4], [3, 4, 5]) --> set([3, 4])