python - 为什么 np.where 比 pd.apply 快

Question

示例代码在这里

import pandas as pd
import numpy as np

df = pd.DataFrame({'Customer' : ['Bob', 'Ken', 'Steve', 'Joe'],
                   'Spending' : [130,22,313,46]})

#[400000 rows x 4 columns]
df = pd.concat([df]*100000).reset_index(drop=True)

In [129]: %timeit df['Grade']= np.where(df['Spending'] > 100 ,'A','B')
10 loops, best of 3: 21.6 ms per loop

In [130]: %timeit df['grade'] = df.apply(lambda row: 'A' if row['Spending'] > 100 else 'B', axis = 1)
1 loop, best of 3: 7.08 s per loop

问题取自此处:https://stackoverflow.com/a/41166160/3027854

Answer 1

我认为 np.where 更快，因为使用了 numpy 数组向量化方式，而 pandas 是建立在这个数组上的。

df.apply 很慢，因为它使用了 loops。

vectorize 操作最快，然后是 cython routines，然后是 apply。

查看此 answer更好地解释 pandas 的开发者 - Jeff。