python - Pandas 按 Zscore 过滤每组异常

Question

我有一个数据框，其中有一列“组”可以有 50 个不同的值，而一列“值”是数字。

一个例子可以是:

pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})

group   value
0   a   2.000
1   b   123.000
2   c   4.000
3   a   2.300
4   a   2.500
5   b   127.000
6   a   128.000
7   c   4.000
8   c   0.003

我想从数据框中删除对其组异常的值，例如 abs(zscore)>3 或类似的东西。在示例中，值 a,128 将被删除，因为它对于组 a 是异常的，并且值 c,0.003 也将被删除。 123和127是正常的，因为他们的组是“b”。

输出应该类似于(带有 z 分数列):

group   value
0   a   2.0
1   b   123.0
2   c   4.0
3   a   2.3
4   a   2.5
5   b   127.0
6   c   4.0

什么是执行此操作的有效方法？

谢谢!

Answer 1

为 z 分数创建一个列，按特定组分组:

df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())

根据您的阈值过滤 df:

df[abs(df['z_score']) > 3]