python - 在非常大的数据集上在 python 中生成 n 选择 2 种组合

Question

我需要创建 n choose 2 组合，目前正在使用 pythons itertools.combinations 模块。

对于一个包含 30,000 个字符串的列表，创建组合会运行数小时并使用大量 ram，即

list(itertools.combinations(longlist,2))

是否有一种生成组合的方法可以更好地针对内存中的大对象进行优化？或者有没有办法使用 numpy 来加速这个过程？

Answer 1

我会使用基于 np.triu_indices 的生成器
这些是 nxn 方阵的上三角矩阵的索引，其中 n = len(long_list)

问题在于首先创建了整套索引。 itertools 不会这样做，一次只生成每个组合。

def combinations_of_2(l):
    for i, j in zip(*np.triu_indices(len(l), 1)):
        yield l[i], l[j]

long_list = list('abc')
c = combinations_of_2(long_list)
list(c)

[('a', 'b'), ('a', 'c'), ('b', 'c')]

---

一次全部搞定

a = np.array(long_list)
i, j = np.triu_indices(len(a), 1)
np.stack([a[i], a[j]]).T

array([['a', 'b'],
       ['a', 'c'],
       ['b', 'c']], 
      dtype='<U1')

---

时间
long_list = pd.DataFrame(np.random.choice(list(ascii_letters), (3, 1000))).sum().tolist()