pytables - 如何加快列表中数据的检索速度

Question

我有一个查询，它按以下格式返回约 100 万行:

data = [[i['field1'], i['field2']] for i in tbl.where(conditions)]

并且花费了超过 5 分钟。

当我单独尝试 tbl.where(conditions) 时，查询花费了不到一秒的时间，因此大部分时间似乎都花在了迭代列表理解中的行上。

是否有更快的方法从查询中检索 field1/field2？ (我有足够的 RAM 将结果存储在内存中)

Answer 1

我对你的“tbl”一无所知，但我会看看以下一些内容:

1. 您的表是否使用压缩？ 打印 tbl.filters.complevel
   
2. 假设您的“条件”取决于表字段，您是否为这些字段创建了索引？ 打印 tbl.indexedcolpathnames
3. 如果使用 idx = tbl.get_where_list(conditions)、tbl[:]['field1'][idx]
4. 如果您有足够的 RAM，请尝试在内存中打开文件:
   h5file =tables.open_file('myfile.h5', driver="H5FD_CORE")
tbl = h5file.root.tbl 看看是否有帮助。