hdf5 - 分块 HDF5 数据集和slabsize

Question

我们正在评估 HDF5 在分块数据集方面的性能。
特别是我们试图弄清楚是否可以跨不同的连续块进行读取以及这样做会如何影响性能？
例如。我们有一个块大小为 10 的数据集，一个有 100 个值的数据集，想要读取 23 到 48 的值。会不会有很大的性能损失？

非常感谢!

Answer 1

我不知道如何具体回答您的问题，但我建议您使用 1024 的块大小(或任何更高的 2 次方)。我不知道 HDF5 的内部结构，但根据我对文件系统的了解，以及从我们所做的粗略基准测试来看，1024 恰到好处。