r - 在 data.table 中有条件地创建具有增量的列

Question

我有一个包含大约 100 万条记录和 80 列的大型数据集。为了加快处理速度，我使用了 data.table。我需要根据条件创建一个新列，但我不知道如何在 data.table 中执行此操作

下面是示例数据的代码:

set.seed(1200)
N_Blocks = 1348
cyc=200
City1 <- vector()
City2 <- vector()
a1 <- vector()
a2 <- vector()

for (a in 1:cyc) {
City1 <- sample(paste("City", formatC(a, width=nchar(cyc), flag="0"), sep=""),N_Blocks,rep=T)
a1 <- sample(0:1,N_Blocks,rep = T)

City2 <- append(City2,City1)
a2 <- append(a2,a1)
}

df1 <- data.frame(City2,a2)

现在的要求是，对于每个城市(目前我们在这个示例数据中有 200 个城市)和 a2 == 1，我需要创建一个新列，将 1 的总数除以 12 个月。因此，例如 City001 & a2 == 1，种子为 1200，我得到 671 条记录。因此，新列Months 需要包含代码01-12。因此，a2 == 1 的前 56 条记录的代码为 01，接下来的 56 条记录的代码为 02，依此类推......而 City001 的最后 55 条 a2 == 1 的记录的代码为 12(因此总计增加到 671)。比如在 12 个月内为每个城市拆分 a2 的选择。

我们可以从命令中获取城市级别的选择摘要-

table(df1$City2,df1$a2)

我们可以使用 data.table 实现吗？

Answer 1

使用:

library(data.table)
setDT(df1)[a2 == 1, mon := cut(seq_along(a2), 12, sprintf('%02d',1:12)), by = City2][]

给出:

          City2 a2 mon
     1: City001  1  01
     2: City001  1  01
     3: City001  1  01
     4: City001  1  01
     5: City001  0  NA
    ---               
269596: City200  1  12
269597: City200  0  NA
269598: City200  1  12
269599: City200  1  12
269600: City200  1  12

这是做什么的:

• 与 setDT(df1) data.frame 被转换为 data.table(仍然是 data.frame)。
• 数据使用 a2 == 1 过滤并与 by = City2 分组.
• 最后，一个新专栏 mon通过引用为选定的行创建 cut .
• 对于 City2 的每一组-列，cut将一个序列( seq_along(a2) ；这从 1 开始并以组大小结束，即第一组的 671 )分成 12 个(几乎)相等的部分。每个部分都有一个相应的标签 ( sprintf('%02d',1:12) )。参见 ?cut了解更多详情。

上述方法的缺点是记录数最少的中断不在最后。总结结果可以看出:

> df1[a2 == 1, .N, by = .(City2,mon)][1:24]
      City2 mon  N
 1: City001  01 56
 2: City001  02 56
 3: City001  03 56
 4: City001  04 56
 5: City001  05 56
 6: City001  06 56
 7: City001  07 55
 8: City001  08 56
 9: City001  09 56
10: City001  10 56
11: City001  11 56
12: City001  12 56
13: City002  01 56
14: City002  02 55
15: City002  03 56
16: City002  04 55
17: City002  05 56
18: City002  06 55
19: City002  07 55
20: City002  08 56
21: City002  09 55
22: City002  10 56
23: City002  11 55
24: City002  12 56

---

要在末尾获得较少记录数的中断，您可以使用:

setDT(df1)[a2 == 1, mon := cut(seq_along(a2),
                               {n <- .N/12; 
                                br <- c(0, rep(ceiling(n), round((n-floor(n))*12)), rep(floor(n), round((floor(n) - n + 1)*12)));
                                unique(c(cumsum(br),.N))},
                               sprintf('%02d',1:12)),
           by = City2][]

第一个解决方案中的中断数 (12) 被一个断点向量所取代，该向量是为每组 City2 计算的分别在大括号( {n <- .N/12 .... unique(c(cumsum(br),.N))} )之间的部分。这部分以这样一种方式计算中断，即观察次数不会随机分布在月份中，而是观察次数较少的月份将始终排在最后。

除了上面的解释外，大括号之间的部分还做了以下事情:

• 首先将每组中的观测数 (.N) 除以 12 .这通常不是整数，而是小数点后有值的数字。
• rep(ceiling(n), round((n-floor(n))*12))计算第一组 ( ceiling(n) ) 的较大观测值并重复一定次数，该次数由 n 的小数值确定与 round((n-floor(n))*12) .
• 较小的组(休息)的组大小由 rep(floor(n), round((floor(n) - n + 1)*12)) 决定是类似的方式。 floor(n)确定组的大小，而 round((floor(n) - n + 1)*12)确定较小的组规模所需的组数。
• 前两个向量以起始零 (c(0, rep ... )) 放在一起。
• 通过对其使用 cumsum，您将获得一个以 0 开头的向量最后添加了 groupsize ( .N )。通过将其包装在 unique 中您确保获得独特的中断值。这是必需的，因为当 n是一个完全四舍五入的数字(例如 600/12 的结果)，最后一个中断值在向量中出现两次。

同样的检查现在表明这已经实现:

> df1[a2 == 1, .N, by = .(City2,mon)][1:24]
      City2 mon  N
 1: City001  01 56
 2: City001  02 56
 3: City001  03 56
 4: City001  04 56
 5: City001  05 56
 6: City001  06 56
 7: City001  07 56
 8: City001  08 56
 9: City001  09 56
10: City001  10 56
11: City001  11 56
12: City001  12 55
13: City002  01 56
14: City002  02 56
15: City002  03 56
16: City002  04 56
17: City002  05 56
18: City002  06 56
19: City002  07 55
20: City002  08 55
21: City002  09 55
22: City002  10 55
23: City002  11 55
24: City002  12 55