python - 加速 Python 中的列表处理

Question

我有两个列表 list1 和 list2，每个列表的大小都是 5000，列表的每个条目都是一个 numpy.array。我想以快速有效的方式计算列表元素之间的欧几里得距离的平方，即我需要计算 sum((list1[i]-list2[j])**2) 对于 i 和 j 的每个组合，因此总共有 2,500,000 种组合。我目前这样做是通过运行双循环并将每个结果写入 2d numpy.array 通过

result[i,j] = sum((list1[i]-list2[j])**2) 

但在我的电脑上还需要大约 4 分钟的时间。我想知道是否可以使用任何技巧来进一步加快计算速度。

Answer 1

如果您坚持使用 numpy(假设您的内部数组是一维的):

dist_mat = ((list1[:,None,:]-list2[:,:])**2).sum(2)

请注意，根据您对相关距离的定义，这是欧氏距离的平方。如果您想要距离本身，只需对其取平方根即可。
否则，我更喜欢@Quang 的评论:

from scipy.spatial import distance_matrix
dist_mat = distance_matrix(list1, list2)