r - 如何检测单变量异常值并在新列中标记为 TRUE 或 FALSE

Question

我有一个包含 30 列和 >10,000 行的数据框。

如何对一组变量运行离群值分析，如果任何变量超过特定阈值(对于该给定变量)，则返回 TRUE，如果不满足相应的离群值阈值 (3SD)，则返回 FALSE任何变量，其 TRUE/FALSE 值显示在新列中？

我使用分位数来查找每个变量的 3 个标准差截止值:

即:

quantile(df$a, 0.003, na.rm = T) #and 

quantile(df$a, 0.997, na.rm = T)

假设该变量的第一个值为 2.5，上限值为 10.5，然后我创建了一个新变量:

df$outliers <- (df$a <- df$a <2.5 | df$a > 10.5)

当 a 列中的值小于 2.5 或大于 10.5 时，给出 TRUE 值。

我想做的是让 df$outliers 代表一组列的异常值状态，而不仅仅是一个，即列 d、e、f、g、l、m 等，它们都有自己的要满足的阈值。

最好的方法是什么？

Answer 1

假设您的数据框名为 df，您有兴趣检查异常值的列是 a、b 和 c(存储在cols中)。我们可以在这些列上使用 sapply 找出哪个值位于异常值范围内。这将返回一个由 TRUE/FALSE 值组成的矩阵，指示该特定值是否为异常值。我们对其进行 rowSums 计算，如果该行中任何一列具有 TRUE 值，则分配值 TRUE，否则分配 FALSE .

cols <- c("a", "b", "c")

df$outliers <- rowSums(sapply(df[cols], function(x) 
                       x < quantile(x, 0.003) | x > quantile(x, 0.997))) > 0

df
#             a          b          c random outliers
#1  -0.56047565  1.2240818 -1.0678237      1    FALSE
#2  -0.23017749  0.3598138 -0.2179749      2    FALSE
#3   1.55870831  0.4007715 -1.0260044      3    FALSE
#4   0.07050839  0.1106827 -0.7288912      4    FALSE
#5   0.12928774 -0.5558411 -0.6250393      5    FALSE
#6   1.71506499  1.7869131 -1.6866933      6     TRUE
#7   0.46091621  0.4978505  0.8377870      7    FALSE
#8  -1.26506123 -1.9666172  0.1533731      8     TRUE
#9  -0.68685285  0.7013559 -1.1381369      9    FALSE
#10 -0.44566197 -0.4727914  1.2538149     10     TRUE

数据

set.seed(123)
df <- data.frame(a = rnorm(10), b = rnorm(10), c = rnorm(10), random = 1:10)