python - 点积稀疏矩阵

Question

我在以下维度的 python 中有两个稀疏矩阵(a 和 b):

a = <240760x2177930 sparse matrix of type '<class 'numpy.float64'>'
    with 1127853 stored elements in Compressed Sparse Row format>

和

b = <240760x2177930 sparse matrix of type '<class 'numpy.float64'>'
    with 439309 stored elements in Compressed Sparse Row format>

问题:我想得到一个长度为 240760 的列向量，它是两个矩阵的逐行点积。例如，dot(a[0],b[0]) 将是我的输出向量的第一个元素。 dot(a[1],b[1]) 将是第二个，依此类推。

是否有矢量化的简单方法来完成此任务？

编辑:实现此目的的一种方法是将每一行转换为密集向量，将其展平，然后使用 numpy.dot()。像这样的东西:

np.dot(np.array(a[0]).flatten(),np.array(b[0]).flatten()).  

但这需要逐行迭代并将每一行转换为密集向量，这是非常耗时的。我在想可能有更简单的方法来做到这一点......

Answer 1

scipy 稀疏矩阵是在 numpy 矩阵子类上建模的，因此将 * 实现为矩阵乘法。 a.multiply 是逐个元素的乘法，例如 np.array * 使用的。

我建议制作几个小矩阵，并尝试各种形式的乘法，包括您认为的 np.dot 等价物。可以更容易地分辨出小东西的情况。

a = np.arange(12).reshape(3,4)
a1 = sparse.csr_matrix(a)

np.dot(a, a.T)
a1 * a.T
a*a
a1.multiply(a1)
etc

仅供引用，这是你想要的吗(使用密集数组):

In [7]: a=np.arange(12).reshape(3,4)

In [8]: [np.dot(a[i],a[i]) for i in range(3)]
Out[8]: [14, 126, 366]

In [9]: np.einsum('ij,ij->i',a,a)
Out[9]: array([ 14, 126, 366])

和稀疏

In [11]: a1=sparse.csr_matrix(a)

完整的矩阵或点积比你想要的要多，对吧？您只需要对角线。

In [15]: (a1*a1.T).A
Out[15]: 
array([[ 14,  38,  62],
       [ 38, 126, 214],
       [ 62, 214, 366]], dtype=int32)

In [16]: a.dot(a.T)
Out[16]: 
array([[ 14,  38,  62],
       [ 38, 126, 214],
       [ 62, 214, 366]])

In [21]: (a1*a1.T).diagonal()
Out[21]: array([ 14, 126, 366], dtype=int32)

对于非常稀疏的事物，采用全矩阵乘法后跟对角线相乘可能与任何替代方法一样快。迭代稀疏矩阵的行是一个相对较慢的操作，而矩阵乘法已在快速的 c 代码中实现。

另一种方式 - 元素乘法后加和。

In [22]: np.sum(a*a,axis=1)
Out[22]: array([ 14, 126, 366])

In [23]: a1.multiply(a1).sum(axis=1)
Out[23]: 
matrix([[ 14],
        [126],
        [366]], dtype=int32)

sparse 将 sum 实现为矩阵乘法(按一列 1)。

In [26]: a1.multiply(a1)*np.array([1,1,1,1])[:,None]
Out[26]: 
array([[ 14],
       [126],
       [366]], dtype=int32)