python - 在 pandas 中快速高效地用历史平均值填充缺失数据

Question

我正在使用具有 500k 观测值的大型面板数据集(纵向数据)。目前，我正在尝试使用每个变量直到时间 t 的平均值来填充缺失的数据(最多 30% 的观测值)。 (我之所以不使用总体平均值来填充数据，是为了避免因使用仅在稍后时间点可用的数据而产生的前瞻性偏差。)

我编写了以下函数来完成这项工作，但运行速度非常慢(500k 行需要 5 小时!!)一般来说，我发现在 Pandas 中填充缺失数据是一项计算繁琐的任务。 请告诉我您通常如何填充缺失值，以及如何使其快速运行

用平均时间“t”填充的函数:

def meanTillTimeT(x,cols):
    start = time.time()
    print('Started')
    x.reset_index(inplace=True)
    for i in cols:
        l1 =[]
        for j in range(x.shape[0]):
            if x.loc[j,i] !=0 and np.isnan(x.loc[j,i]) == False :
                l1.append(x.loc[j,i])
            elif np.isnan(x.loc[j,i])==True :
                x.loc[j,i]=np.mean(l1)      
    end = time.time()
    print("time elapsed:", end - start)
    return x

Answer 1

让我们构建一个 DataFrame 来进行说明:

import pandas as pd
import numpy as np

df = pd.DataFrame({"value1": [1, 2, 1, 5, np.nan, np.nan, 8, 3],
                   "value2": [0, 8, 1, np.nan, np.nan, 8, 9, np.nan]})

这是数据框:

      value1  value2
   0     1.0     0.0
   1     2.0     8.0
   2     1.0     1.0
   3     5.0     NaN
   4     NaN     NaN
   5     NaN     8.0
   6     8.0     9.0
   7     3.0     NaN

现在，我建议首先使用 pandas.DataFrame.cumsum 计算累积和。以及非 NaN 值的数量，以便计算平均值。之后，用这些平均值填充 NaN 并将它们插入到原始 DataFrame 中就足够了。这两个操作都使用 pandas.DataFrame.fillna ，这将比 Python 循环快得多:

df_mean = df.cumsum() / (~df.isna()).cumsum()
df_mean = df_mean.fillna(method = "ffill")
df = df.fillna(value = df_mean)

结果是:

      value1  value2
   0    1.00     0.0
   1    2.00     8.0
   2    1.00     1.0
   3    5.00     3.0
   4    2.25     3.0
   5    2.25     8.0
   6    8.00     9.0
   7    3.00     5.2