python - 使用 h5py 将外部原始文件链接到 hdf5 文件

Question

我经常使用二进制平面文件，它们需要保持当前格式才能使用旧代码，但是我也希望能够使用 HDF5 文件的一些特性和属性和组。我在 HDF5 中看到 documentation 5.5.4可以链接外部数据。是否有一种直接的方法来创建 HDF5 文件并使用 h5py 添加外部链接？

Answer 1

假设您的二进制平面文件包含 10000 float32 在文件中的某个 OFFSET 字节，并且您想将它们读回形状为 (10, 20, 50) 的 3D 数组数据，下面的代码应该可以完成这项工作

input_file = "filename.raw"
output_file = "filename.h5"
offset = OFFSET
shape = (10, 20, 50)
size = 4 * shape[0] * shape[1] * shape[2] # 4 bytes per element

import h5py
import numpy
h5 = h5py.File(output_file, "w")
dataset = h5["/"].create_dataset("data",
                                 shape=shape,
                                 dtype=numpy.float32,
                                 external=((input_file, offset, size),))
h5.flush()
h5.close()

external在创建的数据集应该使用不同文件或偏移量的部分构建的情况下，关键字需要多种形式的元组(文件名、偏移量、大小)。