python - 我们可以为 python 类文件对象禁用 h5py 文件锁定吗？

Question

当使用 h5py 打开 HDF5 文件时，您可以传入一个类似 python 文件的对象。我已经这样做了，其中类文件对象是我自己的基于网络的传输层的自定义实现。

效果很好，我可以在高延迟传输层上分割大型 HDF5 文件。然而，HDF5 似乎提供了自己的文件锁定功能，因此如果您在同一进程(线程模型)中以只读方式打开多个文件，它仍然只会有效地连续运行操作。

HDF5 中有支持并行操作的驱动程序，例如 h5py.File(f, driver='mpio')，但这似乎不适用于 python 类文件对象使用 h5py.File(f, driver='fileobj')。

我看到的唯一解决方案是使用多处理。然而，可扩展性非常有限，由于开销，您实际上只能打开 10 个进程。我的传输层使用 asyncio 并且能够在 1,000 或 10,000 的规模上进行并行操作，这使我能够构建一个更长的慢速文件读取操作队列，从而提高我的总吞吐量。

当我并行排队 10k IO 操作(需要 50GB 的 RAM 来处理请求，可接受吞吐量的权衡)。

Is there any way I can disable the h5py file locking when using driver='fileobj'?

Answer 1

您只需将环境变量 HDF5_USE_FILE_LOCKING 的值设置为 FALSE。

例子如下:

在 Linux 或 MacOS 中通过终端:export HDF5_USE_FILE_LOCKING=FALSE

在 Windows 中通过命令提示符 (CMD):set HDF5_USE_FILE_LOCKING=FALSE