gpt4 book ai didi

python - Numpy:智能矩阵乘法到稀疏结果矩阵

转载 作者:太空宇宙 更新时间:2023-11-03 11:42:51 24 4
gpt4 key购买 nike

在带有 numpy 的 python 中,假设我有两个矩阵:

  1. S,一个稀疏的x*x矩阵
  2. M,一个密集的x*y矩阵

现在我想做 np.dot(M, M.T),它将返回一个密集的 x*x 矩阵 S_

但是,我只关心 S 中非零的单元格,这意味着如果我这样做对我的应用程序没有影响

S_ = S*S_

显然,这会浪费操作,因为我想将 S 中给出的不相关单元格一起排除。请记住,在矩阵乘法中

S_[i,j] = np.sum(M[i,:]*M[:,j])

所以我只想对 i,j 执行此操作,这样 S[i,j]=True

这是否由在 C 中运行的 numpy 实现以某种方式支持,以便我不需要使用 python 循环来实现它?


编辑 1 [已解决]: 我仍然有这个问题,实际上 M 现在也是稀疏的。

现在,给定 S 的行和列,我是这样实现的:

data = np.array([ M[rows[i],:].dot(M[cols[i],:]).data[0] for i in xrange(len(rows)) ])
S_ = csr( (data, (rows,cols)) )

...但它仍然很慢。 有什么新想法吗?

编辑 2: jdehesa 提供了一个很好的解决方案,但我想节省更多内存。

解决方案是执行以下操作:

data = M[rows,:].multiply(M[cols,:]).sum(axis=1)

然后根据数据构建一个新的稀疏矩阵。

但是,当运行上面的行时,scipy 构建了一个(连续的)numpy 数组,其元素与第一个子矩阵的 nnz 加上第二个子矩阵的 nnz 一样多,在我的例子中,这可能导致 MemoryError

为了节省更多内存,我想将每一行与其各自的“合作伙伴”列迭代相乘,然后求和并丢弃结果向量。使用简单的python来实现这个,基本上我又回到了极慢的版本。

有没有快速解决这个问题的方法?

最佳答案

下面是如何使用 NumPy/SciPy 对密集和稀疏 M 矩阵执行此操作:

import numpy as np
import scipy.sparse as sp

# Coordinates where S is True
S = np.array([[0, 1],
[3, 6],
[3, 4],
[9, 1],
[4, 7]])

# Dense M matrix
# Random big matrix
M = np.random.random(size=(1000, 2000))
# Take relevant rows and compute values
values = np.sum(M[S[:, 0]] * M[S[:, 1]], axis=1)
# Make result matrix from values
result = np.zeros((len(M), len(M)), dtype=values.dtype)
result[S[:, 0], S[:, 1]] = values

# Sparse M matrix
# Construct sparse M as COO matrix or any other way
M = sp.coo_matrix(([10, 20, 30, 40, 50], # Data
([0, 1, 3, 4, 6], # Rows
[4, 4, 5, 5, 8])), # Columns
shape=(1000, 2000))
# Convert to CSR for fast row slicing
M_csr = M.tocsr()
# Take relevant rows and compute values
values = M_csr[S[:, 0]].multiply(M_csr[S[:, 1]]).sum(axis=1)
values = np.squeeze(np.asarray(values))
# Construct COO sparse matrix from values
result = sp.coo_matrix((values, (S[:, 0], S[:, 1])), shape=(M.shape[0], M.shape[0]))

关于python - Numpy:智能矩阵乘法到稀疏结果矩阵,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45610202/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com