python - HDF5存储数据的维度

Question

我有几个 .h5 文件，其中包含使用 .to_hdf 方法创建的 Pandas DataFrame。我的问题很简单:是否可以检索存储在 .h5 文件中的 DataFrame 的维度，而不加载 RAM 中的所有数据？

动机:存储在这些 HDF5 文件中的 DataFrame 非常大(高达几 GB)，仅仅为了获取数据的形状而加载所有数据确实非常耗时。

Answer 1

您可能想直接使用 PyTables。

API 引用为 here ，但基本上:

from tables import *
h5file = open_file("yourfile.h5", mode="r")
print h5file.root.<yourdataframe>.table.shape
print len(h5file.root.<yourdataframe>.table.cols) - 1 # first col is an index

另外，为了清楚起见，HDF5 在打开数据集时不会读取所有数据。这将是 Pandas 的一个特点。