python - 在传递给 apply() 的自定义函数中访问先前计算的结果

Question

我在 Python 中使用 Pandas，我想在将自定义函数应用于系列时访问先前计算的结果。

大致是这样的:

import pandas

# How can I obtain previous_result?
def foo(value, previous_result = None):

    # On the first iteration there is no previous result
    if previous_result is None:
        previous_result = value

    return value + previous_result

series = pandas.Series([1,2,3])
print(series.apply(foo))

这也可以概括为“如何将 n 之前的结果传递给函数？”。我知道 series.rolling() 但即使滚动我也无法获得之前的结果，只能获得输入系列的先前值。

Answer 1

您描述的最特殊类型的操作可用作 cummax、cummin、cumprod 和 cumsum (f(x) = x + f(x-1))。

更多功能可以在 expanding 中找到对象:均值、标准差、方差峰度、偏度、相关性等。

对于大多数一般情况，您可以将 expanding().apply() 与自定义函数一起使用。例如，

from functools import reduce  # For Python 3.x
ser.expanding().apply(lambda r: reduce(lambda prev, value: prev + 2*value, r))

等同于f(x) = 2x + f(x-1)

我列出的方法经过优化并且运行速度非常快，但是当您使用自定义函数时，性能会变差。对于指数平滑，对于长度为 1000 的 Series，pandas 开始优于循环，但是 expanding().apply() 的 reduce 性能非常糟糕:

np.random.seed(0)    
ser = pd.Series(70 + 5*np.random.randn(10**4))    
ser.tail()
Out: 
9995    60.953592
9996    70.211794
9997    72.584361
9998    69.835397
9999    76.490557
dtype: float64


ser.ewm(alpha=0.1, adjust=False).mean().tail()
Out: 
9995    69.871614
9996    69.905632
9997    70.173505
9998    70.139694
9999    70.774781
dtype: float64

%timeit ser.ewm(alpha=0.1, adjust=False).mean()
1000 loops, best of 3: 779 µs per loop

有循环:

def exp_smoothing(ser, alpha=0.1):
    prev = ser[0]
    res = [prev]
    for cur in ser[1:]:
        prev = alpha*cur + (1-alpha)*prev
        res.append(prev)
    return pd.Series(res, index=ser.index)

exp_smoothing(ser).tail()
Out: 
9995    69.871614
9996    69.905632
9997    70.173505
9998    70.139694
9999    70.774781
dtype: float64

%timeit exp_smoothing(ser)
100 loops, best of 3: 3.54 ms per loop

总时间仍然以毫秒为单位，但使用了 expanding().apply():

ser.expanding().apply(lambda r: reduce(lambda p, v: 0.9*p+0.1*v, r)).tail()
Out: 
9995    69.871614
9996    69.905632
9997    70.173505
9998    70.139694
9999    70.774781
dtype: float64

%timeit ser.expanding().apply(lambda r: reduce(lambda p, v: 0.9*p+0.1*v, r))
1 loop, best of 3: 13 s per loop

cummin、cumsum 等方法经过优化，只需要 x 的当前值和函数的先前值。但是，对于自定义函数，复杂度为 O(n**2)。这主要是因为有时函数的前值和x的当前值不足以计算函数的当前值。对于cumsum，您可以使用以前的cumsum 并添加当前值来得出结果。你不能这样做，比如说，几何平均数。这就是为什么 expanding 对于中等大小的 Series 将变得不可用。

一般来说，遍历一个 Series 并不是一个非常昂贵的操作。对于 DataFrames，它需要返回每一行的副本，因此效率非常低，但对于 Series 则不是这样。当然，您应该在可用时使用向量化方法，但如果不是这种情况，使用 for 循环执行递归计算等任务也是可以的。