gpt4 book ai didi

python - 在python中查找大量列表的交集

转载 作者:太空宇宙 更新时间:2023-11-04 07:43:21 25 4
gpt4 key购买 nike

我有一个文件,每行包含空格分隔的数字。每行对应一个数字列表。
现在大约有 300,000 行这样的行(每行平均包含大约 100 个数字)。
我想找到所有此类列表的相互交集,即第一个列表与所有其他列表相交,然后第二个列表与所有其他列表相交,依此类推。
我正在使用

set(a) & set(b)  

其中 a 和 b 是我在双循环中迭代的列表。
但这花费了太多时间。例如:第一个列表与所有其他列表相交,大约需要 3 分钟。
我怎样才能有效地做到这一点? (可能与其他一些语言/工具一起使用)

最佳答案

你应该在这里使用生成器表达式,它们进行惰性求值并节省大量内存:

In [46]: from itertools import imap

In [47]: a = [[1,2,3], [2,3,4], [3,4,5]]

In [48]: reduce(set.intersection,imap(set,a))
Out[48]: set([3])

考虑到您的文件如下所示:

1 2 3
2 3 4
3 4 5

代码:使用 itertools.combinations():

with open("abc.txt") as f:
lines=(map(int,x.split()) for x in f)
for x in combinations(lines,2):
print x,'-->',reduce(set.intersection,imap(set,x))
....:
([1, 2, 3], [2, 3, 4]) --> set([2, 3])
([1, 2, 3], [3, 4, 5]) --> set([3])
([2, 3, 4], [3, 4, 5]) --> set([3, 4])

关于python - 在python中查找大量列表的交集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14456201/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com