r - 使用data.tables，尝试按列索引聚合数据

Question

我在使用 data.table 包时遇到一些问题。我使用这个包是因为它在内存方面似乎非常快速和高效，并且它将在非常大的数据集(~ 6m x 300)上工作。

所以，基本上我遇到的问题的一个例子是:

AA <- matrix(runif(50,0,100), 10,5)
AA <- data.table(AA)
colnames(AA) <- c("one","two","three","four","five")
AA[,"key"] <- c(1:10)
setkey(AA,key)

BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2)
BB <- data.table(BB)
BB[,"key"] <- c(1:10)
setkey(BB,key)

CC <- AA[BB]

这给出了以下内容

> CC
  key       one       two     three     four     five V1 V2
 [1,]   1 70.528360  7.901987 66.827238 44.51487 26.22273 A1 B2
 [2,]   2 38.560889 31.808611  7.877950 34.51093 51.27989 A1 C2
 [3,]   3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2
 [4,]   4 82.019267 86.958215  3.335632 44.19048 46.29047 A1 G2
 [5,]   5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2
 [6,]   6  1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2
 [7,]   7  5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2
 [8,]   8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2
 [9,]   9 25.335255 54.638416  5.777238 80.87692 34.11951 S1 A2
[10,]  10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2

我想做的是按 V1 和 V2 聚合数据

> CC[,length(one), by=V1]
     V1 V1.1
[1,] A1    3
[2,] B1    1
[3,] C1    1
[4,] F1    1
[5,] T1    1
[6,] Y1    1
[7,] S1    2

> CC[,length(one), by=V2]
  V2 V1
[1,] B2  1
[2,] C2  1
[3,] V2  1
[4,] G2  1
[5,] R2  2
[6,] U2  1
[7,] P2  1
[8,] Q2  1
[9,] A2  1

我遇到的问题是，如果我不明确知道我想要聚合的列的名称，或者如果我想循环遍历 100 列以获得 100 个不同的聚合，我该怎么做？

data.table 引用手册说这是这样工作的，因为变量是在数据表的范围内引用的，所以 CC[, V1] 将给出一列，而 CC[, "V1"] 获胜't。它说你可以使用类似的东西

x <- quote(V1)
CC[,length(one), by=eval(x)]

但这似乎不起作用，我尝试了一些方法，例如在向量中设置变量名称以及 quote()、noquote()、enquote() 的各种组合，但我似乎无法看看是否可行。

如何将其设置为循环遍历每个列名称聚合的列表？

如果没有，是否有更好的方法来快速聚合这样的大型数据集？

谢谢。

Answer 1

我不确定你到底想要做什么——我认为你可能必须想出一个更好的例子来说明你想要做什么。

例如，您可以在 by 中传入字符向量，这样就可以工作:

agg.by <- "V1"
CC[, length(one), by=agg.by]

如果您想要汇总子集中的“未知”列，您可以对每个聚合范围内的 .SD data.table lapply ，例如:

CC[, lapply(.SD, mean), by=agg.by]

如果您仅汇总原始 data.table 中的几列，请使用 .SDcols 参数，例如:

CC[, lapply(.SD, mean), by=agg.by, .SDcols=c('one', 'two')]

我认为上述内容的某种组合将解决您所问的问题，但我很难准确理解您所追求的内容。

如果您可以提供更多示例数据和预期结果，我将很乐意提供进一步帮助。