r - R 数据帧中的重复数据删除/折叠记录

Question

我有一个由不同个体组成的数据集，其中每个个体都有一个唯一的 ID。每个人都可以在数据集中出现多次，但据我了解，除了一个或两个变量不同(每个人大约有 80 个)之外，数据集中相同用户 ID 的每个条目的值应该相同。

如果可以的话，我想尝试折叠数据。我的主要障碍是我需要返回填充的某些空值。我正在寻找一个可以完成重复数据删除的函数，看起来像这样:

# Build sample dataset
df1 = data.frame(id=rep(1:6,2)                 
                ,classA=rep(c('a','b'),6)
                ,classB=rep(c(1001:1006),2)
                )
df1= df1[order(df1$id),]
df1$classC=c('a',NA,'b',NA,NA,NA,'e','d', NA, 'f', NA, NA)
df1[10,"classB"]=NA
df1=df1[df1$id!=6,]

#sample dataset
> df1
   id classA classB classC
1   1      a   1001      a
7   1      a   1001   <NA>
2   2      b   1002      b
8   2      b   1002   <NA>
3   3      a   1003   <NA>
9   3      a   1003   <NA>
4   4      b   1004      e
10  4      b   1004      d
5   5      a   1005   <NA>
11  5      a     NA      f        

# what I'm looking for
> deduplicate(df1, on='id')
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      d
5  4      b   1004      e
6  5      a   1005      f     

Answer 1

这个怎么样？ (使用 data.table 的解决方案)

require(data.table)
DT <- data.table(df1)
# ignore the warning here...
unique(DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id])

   id classA classB classC
1:  1      a   1001      a
2:  2      b   1002      b
3:  3      a   1003     NA
4:  4      b   1004      e
5:  4      b   1004      d
6:  5      a   1005      f

一些解释:

• by = id 部分按 id 拆分/分组您的 data.table DT。
• .SD 是一个只读变量，它一次自动为每个 id 选择每个拆分/组。
• 因此，我们将 DT 按 id 拆分，对于每个拆分部分，使用 lapply(获取每一列)并删除所有 NA。现在，如果您说 a, NA，那么 NA 将被删除并返回 a。但输入的长度为 2 (a, NA)。因此，它会自动回收 a 以适应大小 (=2)。所以，基本上我们用一些已经存在的值替换所有的 NA。当两者都是 NA(如 NA, NA)时，NA 将被返回(再次通过回收)。
• 如果你查看这部分 DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id]，你应该能够了解已完成的工作。每个 NA 都将被替换。所以，我们需要做的就是挑选 unique 行。这就是为什么它用 unique 包装的原因。

希望这对您有所帮助。您必须进行一些实验才能更好地理解。我建议从这里开始:DT[, print(.SD), by=id]

---

最终解决方案:

我刚刚意识到，如果您有例如 id=4 另一行 classC = NA (以及其他所有内容)，上述解决方案将不起作用是一样的)。这是由于回收问题造成的。此代码应修复它。

unique(DT[, lapply(.SD, function(x) {x[is.na(x)] <- x[!is.na(x)][1]; x}), by = id])