python - Pandas 多索引切片下属级别范围的最佳方法

Question

我有两个关于 pandas dataframe 多索引的问题。

假设我有一个数据框 df 如下:

                                   data
    port                           bm  pf
    sector instrument date
    1      A          2013-01-14    0   0
                      2013-01-15    5   5
                      2013-01-16   10  10
                      2013-01-17   15  15
                      2013-01-18   20  20

可以用下面的代码生成:

import pandas as pd
date = pd.bdate_range('2013-01-14','2013-01-20').repeat(5)
sector = [1,1,1,2,2] * 5
df = pd.DataFrame(dict(port=['pf']*25,sector=sector,instrument=list('ABCDE')*5,date=date,data=xrange(25)))
df = pd.concat([df,pd.DataFrame(dict(port=['bm']*25,sector=sector,instrument=list('ABCDE')*5,date=date,data=xrange(25)))],axis=0)
df = df.set_index(['port','sector','instrument','date'])
df = df.unstack('port')

我想获得两组结果:2013-01-17 的所有值以及从 2013-01-17 到系列末尾的所有值。

首先，我知道我可以使用以下方法之一:

idx = pd.IndexSlice
targetdate = pd.Timestamp('2013-01-17')
slicer = (slice(None),slice(None),targetdate)

1) df.loc[切片器,:]

2) df.xs(pd.Timestamp('2013-01-17'),level=2)

3) df.xs(slicer,)

4) df[idx[:,:,targetdate],:]

所有这些看起来都很笨重。有没有更明显的方式我错过了？还有什么其他方法可以实现这一目标。我想我希望有类似 df.loc(level=2)[targetdate] 的东西(这当然不起作用)。

第二次我只想出了一个解决方案

query = df.index.get_level_values(2) >= pd.Timestamp('2013-01-17')
df[query]

还有更有效的方法吗？

最后的奖金问题:df.index.get_loc_level() 做什么？我觉得它应该对此有所帮助，但我不知道如何使用它。

谢谢

Answer 1

我认为这种掩蔽，就像您正在做的那样，在这里会非常好:

query = df.index.get_level_values(2) >= pd.Timestamp('2013-01-17')
df[query]

如果您在日期中有很多重复，您可以使用较低级别的东西来提高性能:

query = (df.index.levels[2] >= pd.Timestamp("2013-01-17"))[df.index.labels[2]]
df[query]

我可能会因此而大喊大叫...!但在某些情况下它会明显更快。

---

get_loc_level 与 loc 类似，即基于标签而不是位置:

Get integer location slice for requested label or tuple

In [21]: df.index.get_loc_level(2)
Out[21]:
(slice(15, 25, None),
 MultiIndex(levels=[[u'A', u'B', u'C', u'D', u'E'], [2013-01-14 00:00:00, 2013-01-15 00:00:00, 2013-01-16 00:00:00, 2013-01-17 00:00:00, 2013-01-18 00:00:00]],
            labels=[[3, 3, 3, 3, 3, 4, 4, 4, 4, 4], [0, 1, 2, 3, 4, 0, 1, 2, 3, 4]],
            names=[u'instrument', u'date']))

默认情况下它采用第一个索引，但您可以传入更多...

In [21]: df.index.get_loc_level((1, "A"))
Out[21]:
(slice(0, 5, None), <class 'pandas.tseries.index.DatetimeIndex'>
 [2013-01-14, ..., 2013-01-18]
 Length: 5, Freq: None, Timezone: None)