python - 将多个 numpy 数组保存到一个 csv

Question

我有几个不同的“列”需要保存到 CSV。目前我这样做:

f = open(out_csv, 'w', newline='') 
w = csv.writer(f, delimiter=",", )
w.writerow(['id_a', 'id_b',
            'lat_a','lon_a',
            'lat_b','lon_b',
            'proj_metres'])
w.writerows(np.column_stack((
            id_labels[udist.row],
            id_labels[udist.col],
            points[udist.row],
            points[udist.col],
            udist.data)))

也许并不重要，但为了完整性:

tree_dist = tree.sparse_distance_matrix(tree)
udist = sparse.tril(tree_dist, k=-1)

尺寸约为 3000 万乘 7 列(其中两列是字符串:id_labels) - 因此这需要一段时间(大约 8 分钟)并使用大量 RAM，因为我认为 python 在调用时会创建一个新的临时对象np.column_stack 因此在某个时间点它保存的数据是所需数据的两倍。

我希望有更好的方法来创建我需要的 CSV？

Answer 1

您可以使用append选项打开文件，然后使用np.savetxt

import numpy as np
array1 = np.arange(12).reshape((2, 6))
array2 = np.ones(18).reshape((3, 6))
with open('outputfile.csv', 'ab') as f:
    np.savetxt(f, array1, delimiter=',')
    np.savetxt(f, array2, delimiter=',')