python - Numpy，通过迭代替换广播

Question

我有以下代码片段

def norm(x1, x2):
    return np.sqrt(((x1 - x2)**2).sum(axis=0))

def call_norm(x1, x2):
    x1 = x1[..., :, np.newaxis]
    x2 = x2[..., np.newaxis, :]
    return norm(x1, x2)

据我了解，每个x代表N维空间中的点数组，其中N是数组最终维度的大小(因此对于3维空间中的点，最终维度尺寸为 3)。它插入额外的维度并使用广播生成这些点集的笛卡尔积，从而计算所有点对之间的距离。

x = np.array([[1, 2, 3],[1, 2, 3]])
call_norm(x, x)
array([[ 0.        ,  1.41421356,  2.82842712],
       [ 1.41421356,  0.        ,  1.41421356],
       [ 2.82842712,  1.41421356,  0.        ]])

(因此，[1,1] 和 [2,2] 之间的距离为 1.41421356，如预期)

我发现对于中等大小的问题，这种方法可能会使用大量内存。我可以轻松地“去向量化”问题并通过迭代替换它，但我预计这会很慢。我有一个(相当)简单的折衷解决方案，我可以在其中获得矢量化的大部分速度优势，但不会造成内存损失？一些奇特的生成器技巧？

Answer 1

使用 numpy 矢量化时，没有办法在没有内存损失的情况下进行这种计算。对于有效计算成对距离矩阵的特定情况，包往往通过在 C 中(例如 scipy.spatial.distance )或 Cython (例如 sklearn.metrics.pairwise )中实现来解决这个问题。

如果您想“手动”执行此操作，可以说，使用 numpy 样式语法但不会造成内存损失，当前最好的选择可能是 dask.array ，它使用 numpy 风格的语法自动构建和执行灵活的任务图以进行批量执行。

以下是使用 dask 进行此计算的示例:

import dask.array as da

# Create the chunked data. This can be created
# from numpy arrays as well, e.g. x_dask = da.array(x_numpy)
x = da.random.random((100, 3), chunks=5)
y = da.random.random((200, 3), chunks=5)

# Compute the task graph (syntax just like numpy!)
diffs = x[:, None, :] - y[None, :, :]
dist = da.sqrt((diffs ** 2).sum(-1))

# Execute the task graph
result = dist.compute()
print(result.shape)
# (100, 200)

您会发现 dask 比 NumPy 的内存效率更高，通常比 NumPy 的计算效率更高，并且还可以相对直接地并行/核外计算。