python - 为稀疏矩阵交换优化的文件格式

Question

我想将稀疏数字矩阵(整数，但也可以是 float )保存到文件中以进行数据交换。对于稀疏矩阵，我指的是其中大部分值(通常为 90%)等于 0 的矩阵。在这种情况下，稀疏与文件格式无关，而是与矩阵的实际内容相关。

矩阵的格式如下:

        col1   col2   ....
row1  int1_1 int1_2   ....
row2  int2_1   ....   ....
....  ....     ....   .... 

通过使用文本文件(制表符分隔)，文件大小为 4.2G。我可以使用哪种文件格式(最好是无处不在的 .txt 文件)轻松加载和保存此稀疏数据矩阵？我们通常使用 Python/R/Matlab，因此首选这些支持的格式。

Answer 1

我找到了 Feather格式(目前不支持 Matlab，afaik)。

在 this section 中提供了 Pandas 中读写和内存性能的一些比较.

它还提供对 Julia 语言的支持。

编辑:

我发现在我的例子中，这种格式比 .txt 格式使用更多的磁盘空间，可能是为了提高 I/O 性能。使用 zip 压缩可以缓解问题，但在写入过程中进行压缩 seems to not be supported yet .