python - 分层索引设置行为存在问题

Question

我无法弄清楚从数据帧上的分层索引中得到的这种奇怪的行为。简而言之，我想做的事情很简单；我试图弄清楚元组是否在我的数据帧的索引中。

这是我期望的行为:

arrays = [[dt.date(2014,6,4), dt.date(2014,6,4), dt.date(2014,6,21), dt.date(2014,6,21),dt.date(2014,6,13), dt.date(2014,6,13), dt.date(2014,6,7), dt.date(2014,6,7)],['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']]
tuples = list(zip(*arrays))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
s = pd.Series(randn(8), index=index)
print (dt.date(2014,6,4),'one') in s.index
print (dt.date(2014,6,4),'fifty') in s.index
print (dt.date(2014,1,1),'one') in s.index

返回:

True 
False 
False

这是我面临的:

WeirdIdx = pd.MultiIndex(levels=[[dt.date(2014,7,4), dt.date(2014,7,5),dt.date(2014,7,6), dt.date(2014,7,7), dt.date(2014,7,8),dt.date(2014,7,9)], [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23]],labels=[[0, 0, 0, 0, 0], [8, 8, 8, 8, 8]],names=[u'day', u'hour'])
frame = pd.DataFrame({'a':np.random.normal(0,1,5)},index=WeirdIdx)
print type(frame)
print frame.index
print frame

产量:

<class 'pandas.core.frame.DataFrame'>
day         hour
2014-07-04  8   
            8   
            8   
            8   
            8   
                        a
day        hour          
2014-07-04 8     0.335840
           8     0.801193
           8    -0.092492
           8     0.610675
           8    -0.044947

和:

print (dt.date(2014,7,4),8) in frame.index
print (dt.date(2014,7,4),1) in frame.index
print (dt.date(2014,8,4),1) in frame.index

产量:

True
True
True

最后:

frame.index

产量:

MultiIndex(levels=[[2014-07-04, 2014-07-05, 2014-07-06, 2014-07-07, 2014-07-08, 2014-07-09], [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23]],
       labels=[[0, 0, 0, 0, 0], [8, 8, 8, 8, 8]],
       names=[u'day', u'hour'])

一个问题是frame.index中的(dt.date(2014,8,4),1)应该为False!

我在这里缺少什么？

Answer 1

问题似乎是由于您的 MultiIndex 不唯一造成的。 Pandas 在这种情况下有奇怪的行为，我认为这是一个错误。该问题与日期甚至 DataFrame 完全无关；这纯粹是一个多索引问题。这是一个更简单的示例:

WeirdIdx = pandas.MultiIndex(
    levels=[[0], [1]],
    labels=[[0, 0], [0,0]],names=[u'X', u'Y']
)

然后，任何具有正确大小和类型的元组都被视为包含在 MultiIndex 中:

>>> (0, 0) in WeirdIdx
True
>>> (1, 0) in WeirdIdx
True
>>> (100, 0) in WeirdIdx
True
>>> (100, 100) in WeirdIdx
True

查看源代码，我可以看到这些结果是如何产生的:如果 MultiIndex 不唯一，则索引会回退到切片，并且即使值不存在，切片也始终有效(仅返回零长度切片)。但我不明白为什么要这样实现。

我在 pandas 错误跟踪器上找不到与此相关的错误，尽管有多种错误与重复的 MutliIndexes 有关，例如 this bug 。关于this bug的一些评论建议这个问题应该在 pandas 0.14 中得到修复，但我不知道它是否真的已经修复，并且该错误仍然存​​在。我对各种错误报告的印象是，除非它们是唯一的，否则 MutliIndexes 基本上不起作用。我建议打开错误报告和/或在 pandas 邮件列表上询问。