Pandas 滚动窗口有效添加新行

Question

我有一个非常大的数据集(大约 500 万行)，有几个计算列，如滞后(1 和 7)和滚动窗口(7、30、90，每个都有几个值，如均值、标准差、最小值、最大值等)。现在我需要向 df 添加一行或多行，我想知道(重新)计算这些特征的最有效方法。重新计算整个 df 会花费太多时间，但我不能简单地将这些函数应用于新添加的行。

对于滞后这不是一个大问题，我可以简单地，例如滞后 1，

df.iloc[-1, -2] = df.iloc[-2, -2]

这应该可以解决问题(延迟 7 相同)，但是滚动窗口呢？同样的方法行不通，我无法承受(重新)在整个数据帧上运行滚动窗口。我要手工计算吗？还有什么办法吗？

Python 3.7.7 和 Pandas 1.0.3

Answer 1

如果我正确解释了这个问题，那么您有一个大型 DataFrame，其中包含一个或多个源数据列，然后是多个列，其中包含基于源列的窗口汇总统计信息。在将新行 append 到源数据列后，您尝试更新窗口汇总列的底部，而无需重新计算整个汇总列。

解决这个问题的方法取决于很多事情，包括您是否使用居中窗口。但希望这能让你开始。

我将从你的问题的玩具版本开始，只有一个 source列和两个窗口意味着:

In [2]: df = pd.DataFrame({'source': np.arange(0, 20, 2)})

In [3]: for window in [3, 5]:
   ...:     df[f'rolling_mean_{window}'] = (
   ...:         df.source.rolling(window, center=True).mean())
   ...:

然后我们在底部追加一个新行:

In [4]: df = df.append(pd.Series({'source': 100}), ignore_index=True)

In [5]: df
Out[5]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0             2.0             NaN
2      4.0             4.0             4.0
3      6.0             6.0             6.0
4      8.0             8.0             8.0
5     10.0            10.0            10.0
6     12.0            12.0            12.0
7     14.0            14.0            14.0
8     16.0            16.0             NaN
9     18.0             NaN             NaN
10   100.0             NaN             NaN

我们必须更新的数据量取决于窗口的长度。例如，更新 rolling_mean_3我们需要使用最后五行的信息更新最后两行。为安全起见，我们可以重新计算最后的 2*window行数加上您添加的行数:

In [6]: df.source.iloc[-(2*window+1):].rolling(window, center=True).mean()
Out[6]:
4           NaN
5     10.000000
6     12.000000
7     14.000000
8     16.000000
9     44.666667
10          NaN
Name: source, dtype: float64

这具有第 5-10 行的正确数据。请注意，此版本中的第 4 行不正确(现在是 NaN )，但我们可以使用此结果仅更新最后的 [-(window+1):]行。这是完整的解决方案:

In [7]: updated_rows = 1
In [8]: for window in [3, 5]:
   ...:     update_column_name = f'rolling_mean_{window}'
   ...:     update_column_index = df.columns.get_loc(update_column_name)
   ...:     df.iloc[-(window+updated_rows):, update_column_index] = (
   ...:         df.source
   ...:         .iloc[-(window*2+updated_rows):]
   ...:         .rolling(window, center=True).mean()
   ...:         .iloc[-(window+updated_rows):]
   ...:     )

In [9]: df
Out[9]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0        2.000000             NaN
2      4.0        4.000000             4.0
3      6.0        6.000000             6.0
4      8.0        8.000000             8.0
5     10.0       10.000000            10.0
6     12.0       12.000000            12.0
7     14.0       14.000000            14.0
8     16.0       16.000000            32.0
9     18.0       44.666667             NaN
10   100.0             NaN             NaN

现在已更新为具有正确计算的尾部。

从技术上讲，对于中心滚动操作，您只需更新最后一个 floor(window/2)+updated_rows行，从最后一个 window+updated_rows 开始绘制数据框的行。所以你可以这样做来真正优化事情。

如果您正在生成不居中的滚动统计数据，则方法应该相同，但不要包括居中标志。