h5py - h5py 是否将整个文件读入内存？

Question

h5py 是否将整个文件读入内存？

如果是这样，如果我有一个非常非常大的文件怎么办？

如果不是，如果每次我想要一个数据时都从硬盘上取数据会不会很慢？我怎样才能让它更快？

Answer 1

Does h5py read the whole file into the memory?

不，不是的。特别是，切片 ( dataset[50:100] ) 允许您将数据集的一部分加载到内存中。详情见 h5py docs .

If not, will it be quite slow if I take data from hard disk every time I want a single data?

一般来说，hdf5 非常快。但是从内存中读取显然比从磁盘读取要快。您可以决定将多少数据集读入内存( dataset[:] 加载整个数据集)。

How can I make it faster?

如果您想优化性能，您应该阅读 sections关于分块和压缩。还有一个 book详细解释了这些事情(免责声明:我不是作者)。