pandas - 使用滚动中值过滤掉 Pandas 数据框中的异常值

Question

我试图从带有日期的 GPS 高程位移散点图中过滤掉一些异常值

我正在尝试使用 df.rolling 来计算每个窗口的中值和标准差，然后如果它大于 3 个标准差，则删除该点。

但是，我想不出一种方法来循环遍历该列并比较计算出的中值滚动。

这是我到目前为止的代码

import pandas as pd
import numpy as np

def median_filter(df, window):
    cnt = 0
    median = df['b'].rolling(window).median()
    std = df['b'].rolling(window).std()
    for row in df.b:
      #compare each value to its median




df = pd.DataFrame(np.random.randint(0,100,size=(100,2)), columns = ['a', 'b'])

median_filter(df, 10)

如何遍历并比较每个点并将其删除？

Answer 1

只需过滤数据框

df['median']= df['b'].rolling(window).median()
df['std'] = df['b'].rolling(window).std()

#filter setup
df = df[(df.b <= df['median']+3*df['std']) & (df.b >= df['median']-3*df['std'])]