访问 Xarray 数据集时出现 HDF5 警告

Question

我想了解是什么导致我在以下情况下收到警告消息:

在之前的操作中，我创建了一些 NetCDF 文件并使用 xarray.to_netcdf() 将它们保存到磁盘。

在 jupyter notebook 中对这些数据集进行惰性评估非常好，在以下情况下我不会收到任何警告/错误:

• 通过 ds = xarray.open_mfdataset('/path/to/files/*.nc') 打开这些 .nc 文件
• 通过ds.time.values将维度数据加载到内存中
• 通过 ds.sel(time=starttime) 进行延迟选择

在对内存加载数据进行计算时，我似乎能够做任何我想做的事情。但是，在以下情况下，我经常会收到相同的错误集:

• 通过ds.sel(time=starttime).SCALAR_DATA.plot()加载数据绘制
• 通过 ts = pd.Series(ds.SCALAR_DATA.loc[:,y,x], index=other_data.index) 提取/加载数据

请注意，尽管有这些警告，我执行的操作确实会产生预期的结果(绘图、时间序列结构等)。

生成以下错误的共同点似乎是从打开的数据集中加载数据。编辑:经过一些进一步的实验，我的工作环境中的包版本可能会在依赖 HDF5 的包版本之间引起一些冲突。

以下错误重复了一些次。

HDF5-DIAG: Error detected in HDF5 (1.12.2) thread 1:
  #000: H5A.c line 528 in H5Aopen_by_name(): can't open attribute
    major: Attribute
    minor: Can't open object
  #001: H5VLcallback.c line 1091 in H5VL_attr_open(): attribute open failed
    major: Virtual Object Layer
    minor: Can't open object
  #002: H5VLcallback.c line 1058 in H5VL__attr_open(): attribute open failed
    major: Virtual Object Layer
    minor: Can't open object
  #003: H5VLnative_attr.c line 130 in H5VL__native_attr_open(): can't open attribute
    major: Attribute
    minor: Can't open object
  #004: H5Aint.c line 545 in H5A__open_by_name(): unable to load attribute info from object header
    major: Attribute
    minor: Unable to initialize object
  #005: H5Oattribute.c line 494 in H5O__attr_open_by_name(): can't locate attribute: '_QuantizeBitGroomNumberOfSignificantDigits'
    major: Attribute
    minor: Object not found

...

HDF5-DIAG: Error detected in HDF5 (1.12.2) thread 2:
  #000: H5A.c line 528 in H5Aopen_by_name(): can't open attribute
    major: Attribute
    minor: Can't open object
  #001: H5VLcallback.c line 1091 in H5VL_attr_open(): attribute open failed
    major: Virtual Object Layer
    minor: Can't open object
  #002: H5VLcallback.c line 1058 in H5VL__attr_open(): attribute open failed
    major: Virtual Object Layer
    minor: Can't open object
  #003: H5VLnative_attr.c line 130 in H5VL__native_attr_open(): can't open attribute
    major: Attribute
    minor: Can't open object
  #004: H5Aint.c line 545 in H5A__open_by_name(): unable to load attribute info from object header
    major: Attribute
    minor: Unable to initialize object
  #005: H5Oattribute.c line 476 in H5O__attr_open_by_name(): can't open attribute
    major: Attribute
    minor: Can't open object
  #006: H5Adense.c line 394 in H5A__dense_open(): can't locate attribute in name index
    major: Attribute
    minor: Object not found

对于可能导致这些问题的任何建议，我们将不胜感激。

Answer 1

让 conda 解决各种包之间的依赖关系最终成为为我消除这些警告的解决方案。

当我手动安装所有不同的包时，没有仔细指定版本或让 conda 解决依赖关系，警告仍然存在。

编辑:对此 in this answer. 有一个很好的解释