r - 根据摘要统计过滤掉 data.table 列

Question

我经常需要从 data.table 中过滤掉方差较小的列。列名是事先不知道的。

dt = data.table(mtcars)

# calculate standard deviation with arbitrary max value of 1:
mask = dt[,lapply(.SD, function(x) sd(x, na.rm = TRUE) > 1)]

# The columns with the FALSE values in row 1 need to be removed
mask.t = t(mask)
mask.t = which(mask.t)
dt[,mask.t,with=FALSE] 

上面的方法很笨拙。是否有更优雅的方法从 data.table 中过滤掉列统计计算结果为 TRUE 的列？

Answer 1

这些工作:

dt[, .SD, .SDcols=unlist(mask)] 

dt[, .SD, .SDcols=which(unlist(mask))]

现在在一起:

variance.filter = function(df) {
  mask = df[,lapply(.SD, function(x) sd(x,na.rm = TRUE) > 1)]
  df = df[, .SD, .SDcols = unlist(mask)] 
}

在 data.table (1.12.9) 的当前开发版本中编辑，.SDcols 接受列的函数过滤器，因此这将起作用:

variance.filter = function(df) {
  df[ , .SD, .SDcols = function(x) sd(x, na.rm = TRUE) > 1]
}