python - 使用新数据流沿着major_axis 增长pandas 面板？

Question

我的应用程序有一个表单的传入数据流

name, datetime, {x, y, z}

或者换句话说，我收到单行数据，其中包含列name、datetime、x、y、z。我每隔几分钟就会收到大量数据，其中一些是新的。

我想将此数据存储在 pandas Panel 中。该储物面板的结构是这样的

panel.items       - [name_1,name_2,...,name_n]
panel.major_axis  - [datetime1,datetime2,...datetime_m]
panel.minor_axis  - [x, y, z]

出于效率原因，似乎 Panel 对象的大小不太可调。但是，不可能知道major_axis 将包含什么日期时间。我什至有可能在之前的日期之间收到一个新的日期时间。

我确实知道items和minor_axis将包含什么(尽管没有这个限制我会更高兴)。

我想根据需要增加这个存储面板。速度不是问题。向其他使用可转换为面板的其他容器类型开放。有什么建议吗？

<小时/>

想法

我正在尝试将数据临时存储到 dict-of-dict-of-dict 结构中，也许在每次突发后转换为 Panel，然后以某种方式将其与存储结合起来 面板。

old_panel = old_panel.set_value(item,major,minor,value) 似乎没有像文档中那样工作，而且每次创建一个新面板似乎也很激烈(因为旧的可能很大)。

Answer 1

我想说现在废弃面板并使用带有pd.Multi-Index的数据框

示例数据
假设 'x', 'y', 'z' 位于一个元组中

data = [
    ['a', pd.Timestamp('2016-03-31'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-04-30'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-07-31'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-05-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-03-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-05-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-08-31'), (1, 2, 3)],
]

<小时/>

构建空数据框

mux = pd.MultiIndex.from_product([list('abc'), list('xyz')])
df = pd.DataFrame(columns=mux)

迭代数据以模拟流数据

for d in data:
    df.loc[d[1], pd.IndexSlice[d[0], list('xyz')]] = d[2]

<小时/>

结果

print(df)

              a              b              c          
              x    y    z    x    y    z    x    y    z
2016-03-31    1    2    3    1    2    3  NaN  NaN  NaN
2016-04-30    1    2    3  NaN  NaN  NaN  NaN  NaN  NaN
2016-07-31    1    2    3  NaN  NaN  NaN  NaN  NaN  NaN
2016-05-31    1    2    3    1    2    3  NaN  NaN  NaN
2016-08-31  NaN  NaN  NaN    1    2    3  NaN  NaN  NaN

你总是可以得到这样的面板

df.stack().to_panel()

<class 'pandas.core.panel.Panel'>
Dimensions: 3 (items) x 5 (major_axis) x 3 (minor_axis)
Items axis: a to c
Major_axis axis: 2016-03-31 00:00:00 to 2016-08-31 00:00:00
Minor_axis axis: x to z