linux - 重定向(>) h5dump 输出到文本文件导致数据丢失

Question

我有一个运行以下命令的 bash 脚本:

h5dump --noindex particle_pos.6400_acetone > tempPythonFile.txt

hdf5 文件的内容 particle_pos.6400_acetone 是 x、y、z 坐标的集合，如下所示。

HDF5 "particle_pos.6400_acetone" { GROUP "/" {    DATASET "particle position" {
      DATATYPE  H5T_COMPOUND {
         H5T_IEEE_F64LE "x";
         H5T_IEEE_F64LE "y";
         H5T_IEEE_F64LE "z";
      }
      DATASPACE  SIMPLE { ( 7372815 ) / ( 7372815 ) }
      DATA {
         {
            0.0985972,
            0.0051215,
            0.000543894
         },
         {
            0.0986334,
            0.00520195,
            0.000408405
         },

该文件应该一直看起来像上面的文本，但是当我转到文本文件的末尾时，我看到了以下内容。

},
         {
            ,
            -0.162017,

         },
         {
            ,
            ,

         },
         {
            ,
            ,

         },
         {
            ,
            ,

在我看来，似乎正在发生一些正在丢失数据的事情，因为在空白条目的海洋中偶尔会有一个 float 。

我在较小的数据集上使用此命令没有问题，但当我的数据集包含 7372815 个元素时，我开始看到 tempPythonFile.txt 文件中缺少数据。

是否有更容易接受的方法将 HDF5 数据输出到文本文件？ redirect(>) 命令是否不适用于大量数据？

谢谢

Answer 1

我确实收到了 HDF5 小组的回复，他们确实发现这是我使用的 HDF5 版本的问题。