python - Pandas 和 HDF5 聚合性能

Question

我试图了解在 Pandas 中组织数据以实现最佳聚合性能的理想方式。我正在处理的数据的格式为 yyyy-mm.csv，我只是将其读入，然后将其读入 to_hdf。它通常看起来有点像这样:

ObjectID 时间戳 ParamA ParamB --> ParamZ
1 2013-01-01 00:00:00 1 9
2 2013-01-01 00:00:00 3 2
1 2013-01-01 00:10:00 8 11
2 2013-01-01 00:10:00 6 14

整个月每批 10 分钟大约有 50 个对象 ID 和读数。我想要实现的最终结果是按月(或最终可能更精细的分辨率)分组的单个参数的聚合数据(例如平均值)，例如 5 年。

到目前为止，我发现单列的 HDFStore.select 并不比一次将所有这些参数引入单个数据帧快多少。所以感觉很浪费，而且性能也不是很好。如果不知 Prop 体原因，我无法真正决定前进的最佳方式。看起来，如果数据被转置，使得 yyyy-mm 沿着 x 轴，dd hh:mm:ss 沿着 y 轴，并且每个参数都有这些数据帧之一，那么性能将大大提高，因为可以一次性带来更多数据。从磁盘读入内容后，groupby 的速度非常快。但是我完全不相信这就是它应该如何使用的方式。谁能建议组织和存储数据的最佳方法？

谢谢

Answer 1

请查看HDFStore文档 here ，以及 Cookboo 食谱 here

PyTables以面向行的格式存储数据，因此您通常应该拥有长而不太宽的表。但是，如果您倾向于查询并需要/想要整行，那么宽度不会出现问题。

另一方面，如果您通常需要一小部分列，则需要将表分成多个(可能使用相同的索引方案)，因此您可以使用“主”表来运行查询，然后根据需要选择“列”(其他表)。您可以通过 append_to_multiple/select_from_multiple 来完成此操作方法例如。极端地说，您可以将单个列存储在单独的组中，并使自己成为面向列的表。但是，如果您倾向于选择很多列，这会大大减慢速度。

此外，您总是希望可查询的列为 indexes或data_columns ，因为它们首先允许查询并建立索引。

因此，这取决于选择大量列的查询与选择单列的查询的比率。

例如

In [5]: df = DataFrame(np.random.randn(16,2),
                       columns=['A','B'],
                       index=MultiIndex.from_tuples(
                           [ (i,j) for i in range(4) for j in date_range(
                                  '20130101 00:00:00',periods=4,freq='10T') ],
                           names=['id','date']))

In [6]: df
Out[6]: 
                               A         B
id date                                   
0  2013-01-01 00:00:00 -0.247945  0.954260
   2013-01-01 00:10:00  1.035678 -0.657710
   2013-01-01 00:20:00 -2.399376 -0.188057
   2013-01-01 00:30:00 -1.043764  0.510098
1  2013-01-01 00:00:00 -0.009998  0.239947
   2013-01-01 00:10:00  2.038563  0.640080
   2013-01-01 00:20:00  1.123922 -0.944170
   2013-01-01 00:30:00 -1.757766 -1.398392
2  2013-01-01 00:00:00 -1.053324 -1.015211
   2013-01-01 00:10:00  0.062408 -1.476484
   2013-01-01 00:20:00 -1.202875 -0.747429
   2013-01-01 00:30:00 -0.798126 -0.485392
3  2013-01-01 00:00:00  0.496098  0.700073
   2013-01-01 00:10:00 -0.042914  1.099115
   2013-01-01 00:20:00 -1.762597 -0.239100
   2013-01-01 00:30:00 -0.344125 -1.607524

[16 rows x 2 columns]

在 0.12 中，使用 table=True而不是format

In [7]: df.to_hdf('test.h5','df',mode='w',format='table')

In [8]: store = pd.HDFStore('test.h5')

In [9]: store
Out[9]: 
<class 'pandas.io.pytables.HDFStore'>
File path: test.h5
/df            frame_table  (typ->appendable_multi,nrows->16,ncols->4,indexers->[index],dc->[date,id])

In [10]: store.select('df',where='id=0')
Out[10]: 
                               A         B
id date                                   
0  2013-01-01 00:00:00 -0.247945  0.954260
   2013-01-01 00:10:00  1.035678 -0.657710
   2013-01-01 00:20:00 -2.399376 -0.188057
   2013-01-01 00:30:00 -1.043764  0.510098

[4 rows x 2 columns]

这是 0.13 语法，0.12 中有点棘手

In [18]: store.select('df',where='date>"20130101 00:10:00" & date<"20130101 00:30:00"')
Out[18]: 
                               A         B
id date                                   
0  2013-01-01 00:20:00 -2.399376 -0.188057
1  2013-01-01 00:20:00  1.123922 -0.944170
2  2013-01-01 00:20:00 -1.202875 -0.747429
3  2013-01-01 00:20:00 -1.762597 -0.239100

[4 rows x 2 columns]

In [19]: store.close()

例如，要对 id 进行分组，您可以选择所有唯一的 id(使用 select_column 方法。然后迭代这些，执行查询并对结果执行函数。这将非常有效)速度很快，这些是索引列。像这样:

In [24]: ids = store.select_column('df','id').unique()

In [25]: ids
Out[25]: array([0, 1, 2, 3])

In [27]: pd.concat([ store.select('df',where='id={0}'.format(i)).sum() for i in ids ],axis=1)
Out[27]: 
          0         1         2         3
A -2.655407  1.394721 -2.991917 -1.653539
B  0.618590 -1.462535 -3.724516 -0.047436

[2 rows x 4 columns]

多分组只是一个组合查询，例如id=1 & date>="20130101 00:10:00' & date<='20130101 00:30:00'

您可能会发现这个示例也很有启发性 here