python - Pandas 合并与 bool 索引

Question

我在 Python 3.4 中使用 pandas 来识别两个数据帧之间的匹配。匹配基于严格相等，但最后一列除外，其中接近匹配 (+/- 5) 即可。

一个数据框包含许多行，在本例中第二个数据框仅包含一行。所需的结果是一个数据帧，其中包含与该行匹配的第一个数据帧的子集，如上所述。

我首先采用了 bool 索引的具体解决方案，但这需要一段时间才能处理所有数据，所以我尝试了 pandas 合并功能。然而，我的合并实现在我的测试数据上甚至更慢。它的运行速度比 bool 索引慢 2 到 4 倍。

这是一个测试运行:

import pandas as pd
import random
import time

def make_lsts(lst, num, num_choices):
    choices = list(range(0,num_choices))
    [lst.append(random.choice(choices)) for i in range(0,num)]
    return lst

def old_way(test, data):
    t1 = time.time()
    tmp = data[(data.col_1 == test.col_1[0]) &
              (data.col_2 == test.col_2[0]) &
              (data.col_3 == test.col_3[0]) &
              (data.col_4 == test.col_4[0]) &
              (data.col_5 == test.col_5[0]) &
              (data.col_6 == test.col_6[0]) &
              (data.col_7 == test.col_7[0]) &
              (data.col_8 >= (test.col_8[0]-5)) &
              (data.col_8 <= (test.col_8[0]+5))]
    t2 = time.time()
    print('old time:', t2-t1)

def new_way(test, data):
    t1 = time.time()
    tmp = pd.merge(test, data, how='inner', sort=False, copy=False,
                   on=['col_1', 'col_2', 'col_3', 'col_4', 'col_5', 'col_6', 'col_7'])
    tmp = tmp[(tmp.col_8_y >= (test.col_8[0] - 5)) & (tmp.col_8_y <= (test.col_8[0] + 5))]
    t2 = time.time()
    print('new time:', t2-t1)

if __name__ == '__main__':
    t1 = time.time()
    data = pd.DataFrame({'col_1':make_lsts([], 4000000, 7),
                         'col_2':make_lsts([], 4000000, 3),
                         'col_3':make_lsts([], 4000000, 3),
                         'col_4':make_lsts([], 4000000, 5),
                         'col_5':make_lsts([], 4000000, 4),
                         'col_6':make_lsts([], 4000000, 4),
                         'col_7':make_lsts([], 4000000, 2),
                         'col_8':make_lsts([], 4000000, 20)})

    test = pd.DataFrame({'col_1':[1], 'col_2':[1], 'col_3':[1], 'col_4':[4], 'col_5':[0], 'col_6':[1], 'col_7':[0], 'col_8':[12]})
    t2 = time.time()
    old_way(test, data)
    new_way(test, data)
    print('time building data:', t2-t1)

在我最近的运行中，我看到以下内容:

 # old time: 0.2209608554840088
 # new time: 0.9070699214935303
 # time building data: 75.05818915367126

请注意，即使具有合并功能的新方法在处理值范围的最后一列上也使用 bool 索引，但我认为合并可能能够解决问题。显然情况并非如此，因为第一列的合并几乎占用了新方法中使用的所有时间。

是否可以优化合并功能的实现？ (来自 R 和 data.table，我花了 30 分钟寻找在 pandas 数据框中设置键的方法，但没有成功。)这只是 merge 不擅长处理的问题吗？为什么在此示例中 bool 索引比合并更快？

我不完全理解这些方法的内存后端，因此任何见解都值得赞赏。

Answer 1

虽然您可以合并任何列集，但是当您合并索引时，合并的性能将是最佳的。

如果更换

tmp = pd.merge(test, data, how='inner', sort=False, copy=False,
               on=['col_1', 'col_2', 'col_3', 'col_4', 'col_5', 'col_6', 'col_7'])

与

cols = ['col_%i' % (i+1) for i in xrange(7)]
test.set_index(cols, inplace=True)
data.set_index(cols, inplace=True)
tmp = pd.merge(test, data, how='inner', left_index=True, right_index=True)
test.reset_index(inplace=True)
data.reset_index(inplace=True)

这样运行得更快吗？我还没有测试过，但我认为这应该有帮助......

通过对要合并的列建立索引，DataFrame 将在后台组织数据，这样它比数据仅在普通列中更快地知道在哪里查找值。