Pandas.Index.isin() 在处理大数据集时失败

Question

这是一个例子

创建一个包含 100M 相同行的表:

>>> df = pd.DataFrame([('20170101', 'TULIP', 'FLOWER')] * 100000000, columns = ['DATE', 'NAME', 'TYPE'])

将前 2 列设置为索引:

>>> df.set_index(['DATE', 'NAME'], inplace=True)

然后检查索引是否在 [('20170101', 'TULIP')] 中，这对于所有行都应该成立:

>>> df.index.isin([('20170101', 'TULIP')])
array([False, False, False, ..., False, False, False], dtype=bool)

所以 Pandas 给出的结果是错误的 - 它所有的结果都是False。事实上，如果我只检查前 1M 行，它会给出正确的结果:

>>> df[:1000000].index.isin([('20170101', 'TULIP')])
array([ True,  True,  True, ...,  True,  True,  True], dtype=bool)

这是 Pandas 中的错误吗？或者我错过了什么？

Answer 1

根据@Jeff 对 OP 的评论，此问题将在版本 0.21 中得到修复。