r - 在具有列表列的数据帧上使用 setdiff

Question

如果 data.frames 包含列表列，是否有 R 函数可以获取一个 data.frame 中但不在另一个 data.frame 中的行？我知道 dplyr::setdiff 将在常规 data.frames 上工作，但如果我将它应用于带有列表列的 data.frame，我会收到错误消息。

list_df1 <- data.frame(x = c(1, 2, 2))
list_df1$y <- list(c("A", "B"), c("C"), c("B", "C"))
list_df2 <- data.frame(x = c(2, 3))
list_df2$y <- list(c("C"), c("D", "E"))
dplyr::setdiff(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

目前我一直在对两个 data.frames 中的行使用循环并直接比较行是否相等:

in_df2 <- rep(FALSE, nrow(list_df1))
for (row_ind1 in seq_len(nrow(list_df1))) {
  for (row_ind2 in seq_len(nrow(list_df2))) {
    rows_equal <- all.equal(list_df1[row_ind1, ], 
                            list_df2[row_ind2, ], 
                            check.attributes = FALSE)
    if (isTRUE(rows_equal)) {
      in_df2[row_ind1] <- TRUE
      break
    }
  }
}
list_df1[!in_df2, ]
#>   x    y
#> 1 1 A, B
#> 3 2 B, C

虽然给出了我正在寻找的结果，但我确信一定有更好或更有效的解决方案。

dplyr::anti_join 也是一个可能的解决方案，如果非列表列唯一标识结果。但在这种情况下，只有当两个 data.frames 之间的 all 条目相同时，我才想删除行。如果我们只在 x 列上应用 anti_join，我们得不到我正在寻找的结果:

dplyr::anti_join(list_df1, list_df2, by = "x")
#>   x    y
#> 1 1 A, B

将它应用于所有列会出错，只需列出 set_diff

dplr::anti_join(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

Answer 1

简短的回答是，目前 R 或 dplyr 中没有内置将 setdiff 应用于带有列表列的 data.frames 的能力。然而，有可能实现一个比循环遍历两者的天真方法快得多的解决方案数据框。

选项 1:如果不需要列表列来标识不同的行，那么 dplyr::anti_join() 是一个很好的解决方案。要按您可以使用的所有非列表列加入(假设 list_df1 和 list_df2 具有相同的列名):

nonlist_setdiff <- function(list_df1, list_df2) {
  nonlist_vars <- list_df1 %>%
    select_if(function(x) !is.list(x)) %>%
    colnames(.)
  dplyr::anti_join(list_df1, list_df2, by = nonlist_vars)
}

选项 2:如果列表列需要识别不同的行，则 anti_join() 不再是一个选项。相反，您可以为两个 data.frames 的每一行创建一个散列，将它们转换为字符向量。然后您可以将 setdiff 应用于字符向量。此方法使用 digest、dplyr 和 purrr 包:

digest_setdiff <- function(list_df1, list_df2) {
  hash1 <- list_df1 %>%
    purrr::transpose() %>% # Transposing helps speed up the calculations
    purrr::map_chr(digest::digest, algo = "xxhash64") #use xxhash64 for speed
  hash2 <- list_df2 %>%
    purrr::transpose() %>%
    purrr::map_chr(digest::digest, algo = "xxhash64")
  only_in_df1 <- setdiff(hash1, hash2)
  list_df1[hash1 %in% only_in_df1, ]
}

这种方法应该适用于所有类型的 data.frames，无论多么复杂，并且它比天真的方法快得多。但是，它仍然比 dplyr::setdiff 和 dplyr::anti_join 命令慢，所以如果没有必要请不要使用它。

在您的测试输入数据上运行 digest_setdiff 会得到预期的结果:

digest_setdiff(list_df1, list_df2)
#>   x    y
#> 1 1 A, B
#> 3 2 B, C