r - 将 case_when 和 between 与对应阈值表一起使用

Question

早上好

我有 2 个数据帧:(25000,66) 和一个 thershold 表 (10,2)，其中包含 10 个组和每个组的最后一个 ID。

在大数据集中，我有一个名为 id 的变量。它只是 id = row_number()

id
1
2
3
4
5
...
25000

编辑:很多答案，感谢您的所有想法。阅读后我意识到我忘记了数据描述中的一个重要步骤，我深表歉意。

我在原始 bigdataset 上使用合成采样来生成新点。因此，在对 id 列进行采样之后，它看起来像这样:

id
1
2
2.1
3
3.8
4.74
5.12
6
...
25000

这就是为什么我使用带有 last_id 的 between 子句来将 id 重新分配给他们的组。

阈值表:

last_id   group_name
50        grp1
1500      grp2
8900      grp3
...
25000     grp10

我想向大数据集添加新列以获得 id 和组名称，仅基于 id 落在阈值表指定的组范围内的条件。

现在我这样写:

df <- df %>%
    dplyr::mutate(group_name = case_when(id < last_id[1,1] ~ last_id[1,2],
                                                between(id, last_id[1,1], last_id[2,1]) ~ last_id[2,2],
                                                between(id, last_id[2,1], last_id[3,1]) ~ last_id[3,2],
                                                between(id, last_id[3,1], last_id[4,1]) ~ last_id[4,2],
                                                between(id, last_id[4,1], last_id[5,1]) ~ last_id[5,2],
                                                between(id, last_id[5,1], last_id[6,1]) ~ last_id[6,2],
                                                between(id, last_id[6,1], last_id[7,1]) ~ last_id[7,2],
                                                between(id, last_id[7,1], last_id[8,1]) ~ last_id[8,2],
                                                between(id, last_id[8,1], last_id[9,1]) ~ last_id[9,2],
                                                id > last_id[9,1] ~ last_id[10,2]))
    )

但是它不起作用，我得到这个错误:

Error in FUN(left, right) : comparaison (5) ony possible for typeslist and atomic

而且这段代码看起来很糟糕，一定有其他方法可以使用 apply 或其他 dplyr 函数吗？

感谢阅读。

Answer 1

data.table 的两个选项-包:

1) 使用滚动连接功能

dt <- dt2[dt1, on = .(last_id = id), roll = -Inf]

给出:

> dt
      last_id group_name
   1:       1       grp1
   2:       2       grp1
   3:       3       grp1
   4:       4       grp1
   5:       5       grp1
  ---                   
8896:    8896       grp3
8897:    8897       grp3
8898:    8898       grp3
8899:    8899       grp3
8900:    8900       grp3

2) 使用非相等连接功能

# create a 'first_id'
dt2[, first_id := shift(last_id, fill = 0)]
# perform the non-equi join
dt1[dt2, on = .(id > first_id, id <= last_id), group := group_name]

此方法将更新 dt1 而不是创建新的 data.table，因此内存效率更高:

> dt1
        id group
   1:    1  grp1
   2:    2  grp1
   3:    3  grp1
   4:    4  grp1
   5:    5  grp1
  ---           
8896: 8896  grp3
8897: 8897  grp3
8898: 8898  grp3
8899: 8899  grp3
8900: 8900  grp3

---

使用基本 R 的选项:

带有 findInterval 的纯基础 R(与 cut-method from @ Otto Kässi 相当):

df1$group_name <- df2$group_name[findInterval(df1$id, c(0, df2$last_id), left.open = TRUE)]

或者使用 base R 的 merge 和 zoo::na.locf:

df <- merge(df1, df2, by.x = "id", by.y = "last_id", all.x = TRUE)
df$group_name <- zoo::na.locf(df$group_name, fromLast = TRUE)

---

使用的数据:

df1 <- data.frame(id = 1:8900)
df2 <- read.table(text="last_id   group_name
50        grp1
1500      grp2
8900      grp3
", header=TRUE, stringsAsFactors=FALSE)

library(data.table)
dt1 <- as.data.table(df1)
dt2 <- as.data.table(df2)