python - 加速Python中的大型矩阵序列化？

Question

在 python (2.7) 中，我试图加快将一些非常大的矩阵序列化为基于行的格式的速度(这些矩阵在序列化时大约有 2-50 亿行)。

输出格式为 <row> <col> <value>\n ，其中 row 和 col 为整数，value 为 float ，例如:

0 0 0.4
0 1 1.2
...
12521 5498 0.456
12521 5499 0.11

输入数据是 scipy.sparse.coo_matrix ，当前使用以下内容进行序列化:

from __future__ import print_function
from __future__ import unicode_literals

import itertools

# ...code to generate 'matrix' variable skipped ...

with open('outfile', 'w') as fh:
    for i, j, v in itertools.izip(matrix.row, matrix.col, matrix.data):
        print(b"{} {} {}".format(i, j, v), file=fh)

根据输入矩阵，这可能需要几个小时才能运行，因此即使将写入时间减少 10% 也将节省大量时间。

Answer 1

Pandas 似乎更快一些(您可能希望将其应用于固定大小的 block ，因为它显然最终会复制数据，以避免大量内存使用)

df = pandas.DataFrame(dict(row=row, col=col, value=value),
                      columns=['row', 'col', 'value'], 
                      copy=False)
df.to_csv('outfile', sep=' ', header=False, index=False)

更快的选择是用 Cython 编写的低级转储例程。

from libc.stdio cimport fprintf, fopen, FILE, fclose

def dump_array(bytes filename, long[:] row, long[:] col, double[:] value):
    cdef FILE *fh
    cdef Py_ssize_t i, n

    n = row.shape[0]

    fh = fopen(filename, "w")
    if fh == NULL:
        raise RuntimeError("file open failed")
    try:
        with nogil:
            for i in range(n):
                fprintf(fh, "%ld %ld %g\n", row[i], col[i], value[i])
    finally:
        fclose(fh)

时间安排:

原始:5.0 秒 Pandas :3.1 秒Cython:0.9 秒