python - 为什么 Pandas .isin() 方法比 "=="更快

Question

我想知道为什么

df['new_col'] = (df['old_col'] == 'string').astype(int)
815 µs ± 6.63 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

比

慢

df['new_col'] = df['old_col'].isin(['string']).astype(int)
334 µs ± 5.33 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Answer 1

您的测试不具有代表性。使用更大的数据框:

import pandas as pd, numpy as np

df = pd.DataFrame(np.random.randint(0, 9, 100000))

%timeit df[0].isin([1])  # 12.8ms
%timeit df[0] == 1       # 285µs

对于较小的数据帧，例如nrows=10，我看到 isin timeit 的警告:“最慢的运行时间比最快的运行时间长 4.21 倍。这可能意味着正在缓存中间结果。”

我不会关心微秒。如果您发现较大数据帧存在显着的性能差异，那么可能值得研究。

正如一位智者曾经说过的，过早的优化是万恶之源。

更新

pandas 算法似乎存在一些问题，这在与 numpy 数组等效的列表推导式中并不明显:

df = pd.DataFrame({'old_col':['string', 'new']})

df = pd.concat([df] * 10000, ignore_index=True) 
arr = df.values

%timeit [i in ['string'] for i in arr]  # 106ms
%timeit [i == 'string' for i in arr]    # 106ms
%timeit df['old_col'].isin(['string'])  # 1.25ms
%timeit df['old_col'] == 'string'       # 2.88ms

isin 版本使用 numpy.in1d ，这是相当有效的。