r - 数据表中的累积向量

Question

我有以下数据表:

library(data.table)
dat = data.table(j = c(3,8,9,11,10,28), gr = c(9,9,9,9,10,10))
> dat
    j gr
1:  3  9
2:  8  9
3:  9  9
4: 11  9
5: 10 10
6: 28 10

有两个组(由 'gr' 指定)并且它们是有序的。现在我想要实现的是为每组的每一行创建一个累积向量值在 'j' 中。结果应该是 list列，像这样:

res_dat = data.table(j = c(3,8,9,11,10,28), gr = c(9,9,9,9,10,10),
                     res = list(3, c(3,8), c(3,8,9), c(3,8,9,11),
                                10, c(10, 28)))
> res_dat
    j gr         res
1:  3  9           3
2:  8  9         3,8
3:  9  9       3,8,9
4: 11  9  3, 8, 9,11
5: 10 10          10
6: 28 10       10,28

我尝试了以下方法:
首先，我创建了一个虚拟列，其中包含每个组的每行编号。

dat[, tmp:= seq_len(.N), by = gr]

我的计划是使用这个数字来对 j 向量进行子集化，但我没有做到。这些都不起作用:

dat[, res := list(j[1:tmp]), by = gr]
dat[, res := list(list(j[1:tmp])), by = gr] # based on https://stackoverflow.com/questions/22531477/using-lists-inside-data-table-columns

我收到以下错误:

Warning messages:
1: In 1:tmp : numerical expression has 4 elements: only the first used
2: In 1:tmp : numerical expression has 2 elements: only the first used

这确实有助于理解它是如何失败的，但我不知道如何使它成功。有任何想法吗？

Answer 1

这是 Henrik 的回答(如果他们回来，我很乐意给他们这个答案......不知何故):

dat[, res := .(Reduce(c, j, accumulate=TRUE)), by = gr]
#        j    gr         res
#    <num> <num>      <list>
# 1:     3     9           3
# 2:     8     9         3,8
# 3:     9     9       3,8,9
# 4:    11     9  3, 8, 9,11
# 5:    10    10          10
# 6:    28    10       10,28

Reduce类似于 sapply除了它对当前值和前一操作的结果进行操作。例如，我们可以看到

sapply(1:3, function(z) z*2)
# [1] 2 4 6

这，展开，相当于

1*2 # 2
2*2 # 4
3*2 # 6

也就是说，对向量/列表的一个元素的计算是完全独立的，永远不知道之前迭代的结果。
然而， Reduce明确给出了先前计算的结果。默认情况下，它只会返回最后一次计算，类似于 tail(sapply(...), 1) :

Reduce(function(prev, this) prev + this*2, 11:13)
# [1] 61

这似乎有点晦涩......让我们看看所有的临时步骤，上面的答案是最后一个:

Reduce(function(prev, this) prev + this*2, 11:13, accumulate = TRUE)
# [1] 11 35 61

在这种情况下(不指定 init= ，等待它)，第一个结果只是 x= 中的第一个值, 不通过函数运行。如果我们展开这个，我们会看到

11        # 11 is the first value in x
   _________/
  /
 v
11 + 12*2 # 35
35 + 13*2 # 61

有时我们需要 x= 中的第一个值运行该函数，并带有一个起始条件(当我们没有前一次迭代使用时 prev 的第一次值)。为此，我们可以使用 init= ;我们可以想到使用 init=通过查看两个完全等效的调用:

Reduce(function(prev, this) prev + this*2, 11:13, accumulate = TRUE)
Reduce(function(prev, this) prev + this*2, 12:13, init = 11, accumulate = TRUE)
# [1] 11 35 61

(没有 init= ，Reduce 将取 x= 的第一个元素并将其分配给 init= 并将其从 x= 中删除。)
现在假设我们希望起始条件(注入(inject)的“前一个”值)为 0，然后我们会这样做

Reduce(function(prev, this) prev + this*2, 11:13, init = 0, accumulate = TRUE)
# [1]  0 22 46 72


### unrolled
 0        # 0 is the init= value
   ________/
  /
 v
 0 + 11*2 # 22
22 + 12*2 # 46
46 + 13*2 # 72

让我们回到这个问题和这个数据。我会注入(inject)一个 browser()并稍微更改函数，以便我们可以查看所有中间值。

> dat[, res := .(Reduce(function(prev, this) { browser(); c(prev, this); }, j, accumulate=TRUE)), by = gr]
Called from: f(init, x[[i]])
Browse[1]> debug at #1: c(prev, this)
Browse[2]> prev                                    # group `gr=9`, row 2
[1] 3
Browse[2]> this
[1] 8
Browse[2]> c(prev, this)
[1] 3 8
Browse[2]> c                                       # 'c'ontinue

Browse[2]> Called from: f(init, x[[i]])
Browse[1]> debug at #1: c(prev, this)
Browse[2]> prev                                    # group `gr=9`, row 3
[1] 3 8
Browse[2]> this
[1] 9
Browse[2]> c(prev, this)
[1] 3 8 9
Browse[2]> c                                       # 'c'ontinue

Browse[2]> Called from: f(init, x[[i]])
Browse[1]> debug at #1: c(prev, this)
Browse[2]> prev                                    # group `gr=9`, row 4
[1] 3 8 9
Browse[2]> this
[1] 11
Browse[2]> c(prev, this)
[1]  3  8  9 11
Browse[2]> c                                       # 'c'ontinue

Browse[2]> Called from: f(init, x[[i]])
Browse[1]> debug at #1: c(prev, this)
Browse[2]> prev                                    # group `gr=10`, row 6
[1] 10
Browse[2]> this
[1] 28
Browse[2]> c(prev, this)
[1] 10 28
Browse[2]> c                                       # 'c'ontinue

请注意我们如何没有“看到”第 1 行或第 5 行，因为它们是 init=减少的条件(每组中看到的第一个 prev 值)。 Reduce可能是一个难以可视化和使用的功能。当我使用它时，我几乎总是预先插入 browser()进入anon-function，走前三步:首先确保 init=是正确的，第二个是确保匿名函数正在使用 init 和 next 值执行我认为我想要的操作，第三个是确保它正常运行。这类似于“演绎证明”: n计算将是正确的，因为我们知道 (n-1)th计算是正确的。