gpt4 book ai didi

python - 遍历HDF5文件/树并返回后继续?

转载 作者:行者123 更新时间:2023-11-30 22:32:13 25 4
gpt4 key购买 nike

我有一个包含某种树结构的 HDF5 文件:

/a_1
/a_1/b_1
/a_1/b_1/data
/a_1
/a_1/b_2
/a_1/b_2/data
/a_2
/a_2/b_1
/a_2/b_1/data
/a_2
/a_2/b_2
/a_2/b_2/data

这里/a_X/b_X是组,可以假设数据集data 包含某种数值数据。提取数据的最佳方法是什么?当然,我会尝试:

def extract(name, node):
if isinstance(node, hdf.Dataset):
return node[...]
return None

with h5py.File(some_file) as f:
f.visititems(extract)

但在第一次返回 None 以外的内容后,此操作就会停止。当然,可以构建一个全局对象并附加,但我想知道是否有某种“最佳实践”?

最佳答案

无论什么都适合您的整体脚本结构。您可能会在文件/目录行走代码中得到提示。

因此,使用我的一个测试文件,一个简单的打印函数将生成:

def foo(name, obj):
print(name, obj)
return None

In [203]: f.visititems(foo)
Mcoo <HDF5 group "/Mcoo" (3 members)>
Mcoo/col <HDF5 dataset "col": shape (20,), type "<i4">
Mcoo/data <HDF5 dataset "data": shape (20,), type "<f8">
Mcoo/row <HDF5 dataset "row": shape (20,), type "<i4">
Mcsr <HDF5 group "/Mcsr" (3 members)>
Mcsr/data <HDF5 dataset "data": shape (20,), type "<f8">
Mcsr/indices <HDF5 dataset "indices": shape (20,), type "<i4">
Mcsr/indptr <HDF5 dataset "indptr": shape (11,), type "<i4">

我怀疑这是更常见的用法之一 - 只是快速探索数据结构的一种方法。要获取特定的数据集,我们通常会使用完全限定名称。或者迭代多个级别的键。

In [207]: f['Mcoo/row']
Out[207]: <HDF5 dataset "row": shape (20,), type "<i4">

正如您所注意到的,并且如文档所述,如果该函数尝试返回找到的对象,它将退出。

def extract(name, node):
if isinstance(node, h5py.Dataset):
return node[...]
return None
In [211]: x=f.visititems(extract)
In [212]: x
Out[212]: array([0, 6, 8, 9, 4, 6, 9, 0, 1, 8, 9, 1, 2, 4, 6, 5, 6, 0, 4, 6])

我们可以收集字典中的项目(全局或属于某个对象):

def extract(name, node):
if isinstance(node, h5py.Dataset):
dd[name] = node[...]
return None

In [214]: dd = {}
In [215]: f.visititems(extract)
In [217]: list(dd.keys())
Out[217]:
['Mcoo/col',
'Mcsr/data',
...
'Mcoo/row']

但是文件本身可以作为字典进行访问,因此这可能不会增加太多,除了可能会展平嵌套。

或者作为值列表,或者名称和值的元组列表等

一个简单的类:

class MyClass():
def __init__(self):
self.sets = []
def __call__(self, name, node):
if isinstance(node, h5py.Dataset):
self.sets.append(node)
return None

In [227]: M = MyClass()
In [228]: f.visititems(M)
In [229]: M.sets
Out[229]:
[<HDF5 dataset "col": shape (20,), type "<i4">,
<HDF5 dataset "data": shape (20,), type "<f8">,
...
<HDF5 dataset "indptr": shape (11,), type "<i4">]

关于python - 遍历HDF5文件/树并返回后继续?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45562169/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com