python - 将函数应用于 Pandas Groupby

Question

我目前正在使用 Python 处理面板数据，我正在尝试计算给定组 (ID) 内每个时间序列观察值的滚动平均值。

考虑到我的数据集的大小(数千个具有多个时间段的组)，.groupby 和 .apply() 函数计算时间太长(已经运行了一个多小时但仍然没有任何结果 - 完整数据集仅包含大约 300k 个观察值)。

我最终想遍历多个列，执行以下操作:

1. 计算每个组 ID 给定列中每个时间步长的滚动平均值
2. 创建一个新列，其中包含原始值与移动平均值之间的差异 [x_t - (x_t-1 + x_t)/2]
3. 将列存储在新的 DataFrame 中，这将与原始数据集相同，只是它具有 #2 的残差而不是原始值。

4. 重复并将新残差附加到 df_resid(如下所示)

   df_resid
   date        id   rev_resid   exp_resid
   2005-09-01   1         NaN         NaN
   2005-12-01   1      -10000       -5500
   2006-03-01   1     -352584   -262058.5
   2006-06-01   1      240000    190049.5 
   2006-09-01   1    82648.75    37724.25
   2005-09-01   2         NaN         NaN
   2005-12-01   2      4206.5       24353
   2006-03-01   2     -302574     -331951
   2006-06-01   2      103179    117405.5
   2006-09-01   2      -52650    -72296.5
   

这是原始数据的小样本。

df
date        id        rev        exp
2005-09-01   1   745168.0   545168.0    
2005-12-01   1   725168.0   534168.0    
2006-03-01   1    20000.0    10051.0
2006-06-01   1   500000.0   390150.0
2006-09-01   1   665297.5   465598.5
2005-09-01   2   956884.0   736987.0
2005-12-01   2   965297.0   785693.0
2006-03-01   2   360149.0   121791.0
2006-06-01   2   566507.0   356602.0
2006-09-01   2   461207.0   212009.0

还有(非常慢的)代码:

df['rev_resid'] = df.groupby('id')['rev'].apply(lambda x:x.rolling(center=False,window=2).mean()) 

我希望有一种计算效率更高的方法来执行此操作(主要是关于 #1)，并且可以扩展到多列。

任何帮助将不胜感激。

Answer 1

为了加快计算速度，如果数据帧已经按 'id' 排序，那么您不必在 groupby 中进行rolling >(如果它没有排序......这样做)。然后，由于您的窗口只有 2 的长度，因此我们通过检查 id == id.shift 的位置来屏蔽结果。这是有效的，因为它已排序。

d1 = df[['rev', 'exp']]
df.join(
    d1.rolling(2).mean().rsub(d1).add_suffix('_resid')[df.id.eq(df.id.shift())]
)

         date  id       rev       exp  rev_resid  exp_resid
0  2005-09-01   1  745168.0  545168.0        NaN        NaN
1  2005-12-01   1  725168.0  534168.0  -10000.00   -5500.00
2  2006-03-01   1   20000.0   10051.0 -352584.00 -262058.50
3  2006-06-01   1  500000.0  390150.0  240000.00  190049.50
4  2006-09-01   1  665297.5  465598.5   82648.75   37724.25
5  2005-09-01   2  956884.0  736987.0        NaN        NaN
6  2005-12-01   2  965297.0  785693.0    4206.50   24353.00
7  2006-03-01   2  360149.0  121791.0 -302574.00 -331951.00
8  2006-06-01   2  566507.0  356602.0  103179.00  117405.50
9  2006-09-01   2  461207.0  212009.0  -52650.00  -72296.50