python - 计算成对距离矩阵的有效方法？

Question

我有一个对象列表 list_of_objects，我使用 scipy.cluster.hierarchy.linkage() 将它们聚集在一起。作为输入 scipy.cluster.hierarchy.linkage() 采用压缩距离矩阵。我通过使用 itertools.combinations 来计算压缩距离矩阵以仅比较唯一组合:

distances = map(do_comparison, itertools.combinations(list_of_objects, 2))

即便如此，它所花费的时间随着 list_of_objects 的大小而快速增长。有更快的方法吗？

Answer 1

如果存在距离不再重要的临界截止点(数据相关的答案)，您可以尝试使用 scipy.spatial.KDTree.sparse_distance_matrix 中的备用矩阵表示. KDTree 的知识应该会显着减少计算更远距离的时间。

要使其与您可能需要注意的聚类一起使用:

Computes a distance matrix between two KDTrees, leaving as zero any distance greater than max_distance.

并将零更改为 np.inf。