python - 如何将数据 append 到存储在 HDFStore 文件中的面板

Question

我有一个面板存储在一个文件中，我想将更多数据 append 到该面板在内存中追加工作正常，但在尝试将数据追加到文件时出现此错误:

import pandas as pd
import numpy as np

df = pd.DataFrame(data = np.random.randn(5,6),columns=('a','b','c','d','e','f'))
pw =  pd.Panel(major_axis = df.columns,minor_axis=df.index)
pw2 = pd.Panel(major_axis = df.columns,minor_axis=df.index)
pw['A'] = df
pw['B'] = df*2
pw['C'] = df*3
pw2['D'] = df*4

pw.to_hdf('proc.h5','proc' , mode='w',format='table',append=True)
pw2.to_hdf('proc.h5','proc' , mode='a',format='table',append=True)

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Python27\lib\site-packages\pandas\core\generic.py", line 884, in to_hdf
return pytables.to_hdf(path_or_buf, key, self, **kwargs)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 279, in to_hdf
f(store)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 272, in <lambda>
f = lambda store: store.append(key, value, **kwargs)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 914, in append
**kwargs)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 1273, in _write_to_group
s.write(obj=value, append=append, complib=complib, **kwargs)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 3578, in write
**kwargs)
File "C:\Python27\lib\site-packages\pandas\io\pytables.py", line 3229, in create_axes
item in items))
ValueError: cannot match existing table structure for [A,B,C] on appending data

Answer 1

文档是 here对于 axes参数。

存储 > 2 暗淡的对象(一个面板是 3 暗淡的)将对象展平为表结构，其中(在本例中)major_axis和 minor_axis是指数。 items轴是表中的“列”。

因此允许在任何索引上 append ，因此您可以 append 一个已更改长轴和/或短轴的新面板。但是，项目轴在第一次 append 表格时是固定的。

为了提高效率，PyTables/HDF5 需要这个固定维度。

如果您愿意，您可以指定要追加的不同轴，例如。 axes=['items','major_axis']或者简单地转置面板以获取您需要的形式。这是必须在第一个 追加时指定的参数。

您可以查看使用 ptdump -av <file.h5> 创建的结构.