python - 通过 Pandas 数据框中的特定列检测行中的异常值

Question

我有测量特定列中电压值的数据集。我正在寻找优雅的方法来提取偏离平均值的行。 “volt_id”中有几个组，我想让每个组创建自己的均值/标准并使用它们来决定哪些行偏离每个组。例如，我有如下原始数据集。

      time     volt_id     value
 0    14         A         300.00
 1    15         A         310.00
 2    15         B         200.00
 3    16         B         210.00
 4    17         B         300.00
 5    14         C         100.00
 6    16         C         110.00
 7    20         C         200.00

算法运行后，我只保留第 4 行和第 7 行，如下所示。

      time     volt_id     value
 4    17         B         300.00
 7    20         C         200.00

如果只有一个组，我可以这样做，但如果对多个组执行此操作，我的代码将变得困惑和冗长。如果有更简单的方法来执行此操作，我将不胜感激。

谢谢，

Answer 1

您可以计算和过滤 zscore在每个 group 上使用 groupby。

假设您只想要那些与均值相差 1 个或更多标准差的行，

g = df.groupby('volt_id').value
v = (df.value - g.transform('mean')) / g.transform('std')

df[v.abs().ge(1)]

   time volt_id  value
4    17       B  300.0
7    20       C  200.0