python - 保存许多不同长度的数组

Question

我有大约 8000 个二维点数组，作​​为 numpy 数组的 Python 列表存储在内存中。每个数组的形状都是 (x,2)，其中 x 是介于 ~600 和 ~4000 之间的数字。本质上，我有一个锯齿状的 3 维数组。

我想以方便/快速的格式存储这些数据，以便从磁盘读取/写入。我宁愿不创建约 8000 个单独的文件，但如果可以避免的话，我也宁愿不用零填充完整的 (8000,4000,2) 矩阵。

我应该如何将我的数据存储在磁盘上，以便最小化文件大小和解析/序列化？

Answer 1

有一个称为 HDF 的标准用于存储大量数据集。您可以在以下链接中找到一些信息，但一般而言，HDF 定义了一种可用于存储大量信息的二进制文件格式。

你可以找到一个例子here在磁盘上存储大型 Numpy 数组。在那篇文章中，作者对 Python Pickle 和 HDF5 进行了比较。

我也推荐你this HDF5简介。 Here's th h5py 包，它是 HDF5 二进制数据格式的 Pythonic 接口(interface)。