python - Pandas 比 numpy 慢得多？

Question

下面的代码表明 pandas 可能比 numpy 慢得多，至少在函数 clip() 的特定情况下是这样。令人惊讶的是，从 pandas 到 numpy 再回到 pandas 的往返，同时在 numpy 中执行计算，仍然比在 pandas 中快得多。

pandas 的功能不应该用这种迂回的方式实现吗？

In [49]: arr = np.random.randn(1000, 1000)

In [50]: df=pd.DataFrame(arr)

In [51]: %timeit np.clip(arr, 0, None)
100 loops, best of 3: 8.18 ms per loop

In [52]: %timeit df.clip_lower(0)
1 loops, best of 3: 344 ms per loop

In [53]: %timeit pd.DataFrame(np.clip(df.values, 0, None))
100 loops, best of 3: 8.4 ms per loop

Answer 1

在 master/0.13(很快发布)中，这要快得多(由于对齐/dtype/nans 的处理，仍然比原生 numpy 稍慢)。

在 0.12 中，它是按列应用的，因此这是一个相对昂贵的操作。

In [4]: arr = np.random.randn(1000, 1000)

In [5]: df=pd.DataFrame(arr)

In [6]: %timeit np.clip(arr, 0, None)
100 loops, best of 3: 6.62 ms per loop

In [7]: %timeit df.clip_lower(0)
100 loops, best of 3: 12.9 ms per loop