python - 访问矩阵并将值放入矩阵的最快方法

Question

我写了一个程序并且一直在分析它。瓶颈如下(如果我使用稀疏矩阵):

  26534    0.775    0.000   66.657    0.003 compressed.py:638(__setitem__)
  26534    2.240    0.000   59.438    0.002 compressed.py:688(_set_many)
  13318    2.993    0.000   50.024    0.004 compressed.py:742(_insert_many)
3034231   23.087    0.000   38.101    0.000 defmatrix.py:312(__getitem__)

如果我使用密集矩阵，那么这些操作会很慢(必须将矩阵初始化为零)

3034072   24.902    0.000   41.135    0.000 defmatrix.py:312(__getitem__)
  11780   19.586    0.002   19.586    0.002 {numpy.core.multiarray.zeros}

稀疏矩阵版本更快(193 秒对 178 秒)。但是检索和排列对我来说显然是一个瓶颈。我尝试使用 take 函数，其中我使用 range() 创建一个包含行索引的数组。然而，这比我目前正在做的要糟糕得多(10000 倍)，这是针对矩阵 X，X[idx,:] 用于放置和 X.getrow(idx) .todense() 用于服用。

是否有更好的方法来访问和替换这些行？我的矩阵非常大(约 100000 行 20-500 列)。

编辑:我正在使用 csr_matrix(但对任何类型的稀疏矩阵都开放——这个似乎适合抓取行)。下面是一系列测试，只是为了给出一个 MWE。速度约为 3E-4s、7E-3s、0.1s。这让我感到惊讶，我想知道是否有比顶级方法更快的方法。如果我删除 todense() 调用，稀疏时间会减半 - 但这看起来仍然很慢。

import numpy as np
from time import time
from scipy.sparse import csr_matrix

def testFancy(mat,idxs):
    for i in idxs:
        x = mat[i,:]

def testTake(mat,idxs):
    for i in idxs:
        x = mat.take(range(i*50,i*50+50))

def testSparse(mat,idxs):
    for i in idxs:
        x = mat.getrow(i).todense()

mat = np.random.rand(50000,50)
idxs = np.random.randint(50000-1, size=1000)

#fancy
t0 = time()
testFancy(mat,idxs)
t1 = time()
print str(t1-t0)

#take
t0 = time()
testTake(mat,idxs)
t1 = time()
print str(t1-t0)

#sparse
mat = csr_matrix((50000,50))
t0 = time()
testSparse(mat,idxs)
t1 = time()
print str(t1-t0)

Answer 1

只需使用花哨的索引，即可获取和设置数组中的行，

import numpy as np
from scipy.sparse import csr_matrix

mat_ds = np.random.rand(50000,50)
mat_csr = csr_matrix((50000,50))
mat_lil = mat_csr.tolil()

idxs = np.random.randint(50000-1, size=1000)

print(mat_sp[idxs, :].todense())
print(mat_csr[idxs, :])

mat_sp[idxs, :] = 2.0 # or any other expression that makes sens here
mat_csr[idxs, :] = 2.0 

数组是否稀疏并不重要。这将比任何带有循环的自定义解决方案都快(在我的例子中比 testSparse 快 250 倍)。

当然，对稀疏数组的分配应该以保持稀疏性的方式完成，否则它将被重新分配，这对 csr_matrix 来说是昂贵的。例如上面的示例，因此会产生警告。

编辑:回应评论。让我们考虑只查询一行，

In [1]: %timeit -n 1 mat_csr[0, :].todense()
1 loops, best of 3: 101 µs per loop

In [2]: %timeit -n 1 mat_lil[0, :].todense()
1 loops, best of 3: 157 µs per loop

In [3]: %timeit -n 1 mat_ds[0, :]
The slowest run took 8.25 times longer than the fastest. This could mean that an intermediate result is being cached 
1 loops, best of 3: 954 ns per loop

所以是的，查询密集数组比稀疏数组快 10 到 100 倍，结果转换为密集(无论您使用 csr 还是 lil 数组)，因为开销更少。对此无能为力，您只需要选择是否需要稀疏数组即可。