numpy - Object dtype dtype ('O' ) 没有本地 HDF5 等效项

Question

好吧，似乎在堆栈溢出中提出了几个类似的问题，但似乎没有一个回答正确或正确，也没有描述确切的示例。

我在将数组或列表保存到 hdf5 时遇到问题...

我有几个文件包含 (n, 35) 维度的列表，其中每个文件中的 n 可能不同。它们中的每一个都可以使用以下代码保存在 hdf5 中。

hdf = hf.create_dataset(fname, data=d)

但是，如果我想合并它们以在 3d 中制作，则会出现如下错误。

Object dtype dtype('O') has no native HDF5 equivalent

我不知道为什么它会变成 dtype 对象，因为我所做的只是这个

all_data = list()
for fname in file_list:
    d = np.load(fname)
    all_data.append(d)
hdf = hf.create_dataset('all_data', data=all_data)

我怎样才能保存这样的数据？
我尝试了几个测试，当我用

all_data = np.array(all_data)

看起来它在保存 hdf5 时有类似的问题。

同样，如何将这些数据保存在 hdf5 中？

Answer 1

我遇到了类似的问题 h5py ，并使用 array.astype 更改 NumPy 数组的类型为我工作(我相信这会将类型从 dtype('O') 更改为您指定的数据类型)。请参阅下面的代码片段:

import numpy as np

print(X.dtype) 
--> dtype('O')

print(X.astype(np.float64).dtype)
--> dtype('float64')

当我跑 h5.create_dataset通过这种数据类型转换，我能够成功创建一个 h5 数据集。希望这可以帮助!
一个额外的更新:我相信 NumPy 对象类型 'O'当 NumPy 数组本身具有混合元素类型(例如 np.int8 和 np.float32 )时创建。