python - HDF5 可能的数据损坏或丢失？

Question

在维基百科上，可以阅读以下关于 HDF5 的批评:

Criticism of HDF5 follows from its monolithic design and lengthy specification. Though a 150-page open standard, there is only a single C implementation of HDF5, meaning all bindings share its bugs and performance issues. Compounded with the lack of journaling, documented bugs in the current stable release are capable of corrupting entire HDF5 databases. Although 1.10-alpha adds journaling, it is backwards-incompatible with previous versions. HDF5 also does not support UTF-8 well, necessitating ASCII in most places. Furthermore even in the latest draft, array data can never be deleted.

我想知道这是否仅适用于 HDF5 的 C 实现，或者这是否是 HDF5 的普遍缺陷？

我正在进行的科学实验有时会生成千兆字节的数据，在所有情况下至少会生成数百兆字节的数据。显然，数据丢失，尤其是数据损坏对我来说是一个巨大的劣势。

我的脚本总是有一个 Python API，因此我使用的是 h5py(2.5.0 版)。

那么，这种批评与我相关吗？我应该担心数据损坏吗？

Answer 1

预先声明:我帮助维护h5py，所以我可能有偏见等。

问题发布后，维基百科页面发生了变化，这是我所看到的:

Criticism

Criticism of HDF5 follows from its monolithic design and lengthy specification.

• Though a 150-page open standard, the only other C implementation of HDF5 is just a HDF5 reader.
• HDF5 does not enforce the use of UTF-8, so client applications may be expecting ASCII in most places.
• Dataset data cannot be freed in a file without generating a file copy using an external tool (h5repack).

我想说这几乎总结了 HDF5 的问题，它很复杂(但人们需要这种复杂性，请参阅虚拟数据集支持)，它具有向后兼容的悠久历史，因为它是重点，而且它并不是真正设计的允许对文件进行大量更改。它在 Windows 上也不是最好的(由于它处理文件名的方式)。

我选择 HDF5 进行研究是因为可用的选项，它有不错的元数据支持(HDF5 至少允许 UTF-8，像 FITS 这样的格式甚至没有)，支持多维数组(像 Protocol Buffers 这样的格式并不真正支持)，它支持的不仅仅是 64 位 float (这种情况很少见)。

我不能对已知的错误发表评论，但我看到了损坏(这发生在我写入文件并且 linux OOM 导致我的脚本时)。但是，只要您有适当的数据卫生习惯(如 hackernews 链接中所述)，这不应该是一个问题，在您的情况下不会连续写入同一个文件，而是为每次运行创建一个新文件.您也不应该修改文件，任何数据减少都应该产生新文件，并且您应该始终备份原始文件。

最后，值得指出的是，有 HDF5 的替代方案，具体取决于您的具体要求:SQL 数据库可能更适合您的需求(sqlite 默认带有 Python，因此很容易试验)，也可以一个简单的 csv 文件。我建议不要使用自定义/不可移植格式(例如 pickle 和类似格式)，因为它们既不比 HDF5 更健壮，也不比 csv 文件复杂。