python - 从 SQL 中高效地读取 Python 稀疏矩阵

Question

我在 MySQL 中有一个包含三列的表:行索引、列索引和值，我想将其读入 scipy csr_matrix。我使用 Python-MySQL 连接器。有 112,500 个非零元素。

尝试 1:

A = csr_matrix((N_rows, N_cols), dtype=float)
show = 'SELECT * FROM my_table'
cursor.execute(show)
for (row, col, value) in cursor:
     A[row, col] = value

这太慢了，我不得不在 60 秒后停止它。它提到了效率警告，并建议使用 lil 矩阵。

尝试 2:

A = lil_matrix((N_rows, N_cols), dtype=float)
show = 'SELECT * FROM my_table'
cursor.execute(show)
for (row, col, value) in cursor:
     A[row, col] = value
A = csr_matrix(A)

这需要 6.4 秒(三秒的平均值)。这是尽善尽美，还是有一种更快的方法可以在不通过循环的情况下创建 csr_matrix？如果我执行 cursor.fetchall()，数据如下所示:

[(row_0, col_0, value_0), (row_1, col_1, value_1), ...]

这不能用于 csr_matrix 构造函数。

Answer 1

cursor.fetchall()返回的数据几乎在coo_matrix中格式。你可以做

import numpy as np
from scipy.sparse import coo_matrix

data = cursor.fetchall()
#data = [(1, 2, 1.2), (3, 4, 7.1)]

arr = np.array(data, dtype=[('row', int), ('col', int), ('value', float)])
spmat = coo_matrix((arr['value'], (arr['row'], arr['col'])))

代替 np.array(cursor.fetchall(), ...) 你也可以最好使用

arr = np.fromiter(cursor, dtype=[('row', int), ('col', int), ('value', float)])

将数据库中的数据直接加载到 Numpy 数组中。