r - melt.data.table 和 na.rm 作为 measure.vars 列表的第一个元素

Question

我想探索melt data.table 的最佳方法，na.rm 仅适用于第一个元素measure.vars 列表。

我有一个 data.table 如下:

library(data.table)
library(lubridate)

dt.master <- data.table(user = seq(1,5),
                    visit_id = c(2,4,NA,4,8),
                    visit_date = c(dmy("10/02/2018"), dmy("11/04/2018"), NA, dmy("02/03/2018"), NA),
                    offer_id = c(1,3,NA,NA,NA),
                    offer_date = c(dmy("15/02/2018"), dmy("18/04/2018"), NA, NA, NA))

使用dt.master:

   user visit_id visit_date offer_id offer_date
1:    1        2 2018-02-10        1 2018-02-15
2:    2        4 2018-04-11        3 2018-04-18
3:    3       NA       <NA>       NA       <NA>
4:    4        4 2018-03-02       NA       <NA>
5:    5        8       <NA>       NA       <NA>

我想为每个用户获取商业事件的“故事”(即:他们的访问和报价)。

dt.melted <- melt(dt.master,
                  id.vars = "user",
                  measure.vars = list(c("visit_id", "offer_id"), c("visit_date", "offer_date")),
                  variable.name = "level",
                  value.name = c("level_id", "level_date"))

使用dt.melted:

    user level level_id level_date
 1:    1     1        2 2018-02-10
 2:    2     1        4 2018-04-11
 3:    3     1       NA       <NA>
 4:    4     1        4 2018-03-02
 5:    5     1        8       <NA>
 6:    1     2        1 2018-02-15
 7:    2     2        3 2018-04-18
 8:    3     2       NA       <NA>
 9:    4     2       NA       <NA>
10:    5     2       NA       <NA>

但是，我不希望 NA 出现在 level_id 列中，即:

   user level level_id level_date
1:    1     1        2 2018-02-10
2:    2     1        4 2018-04-11
3:    4     1        4 2018-03-02
4:    5     1        8       <NA>
5:    1     2        1 2018-02-15
6:    2     2        3 2018-04-18

不幸的是，样本的数据质量真的很差，所以 level_date 并不总是可用的。因此，na.rm = T 无效，正如我将得到的:

dt.melted.na <- melt(dt.master,
                     id.vars = "user",
                     measure.vars = list(c("visit_id", "offer_id"), c("visit_date", "offer_date")),
                     variable.name = "level",
                     value.name = c("level_id", "level_date"),
                     na.rm = TRUE)

使用dt.melted.na:

   user level level_id level_date
1:    1     1        2 2018-02-10
2:    2     1        4 2018-04-11
3:    4     1        4 2018-03-02
4:    1     2        1 2018-02-15
5:    2     2        3 2018-04-18

有没有办法只对 measure.vars 中列表的第一个元素使用 na.rm = TRUE？ 我是目前正在探索其他解决方法(例如在 visit_id 和 offer_id 可用时用“假”日期填充 visit_date 和 offer_date) , 但我想知道是否有一个优雅的解决方案。

Answer 1

如果 melt() 的 na.rm 参数采用一个 bool 值向量，一个代表 列表中的每个元素，这是一个优雅的解决方案>measure.vars，例如，

melt(dt.master,
     id.vars = "user",
     measure.vars = list(c("visit_id", "offer_id"), c("visit_date", "offer_date")),
     variable.name = "level",
     value.name = c("level_id", "level_date"),
     na.rm = c(TRUE, FALSE))   # not possible with data.table v1.11.0

由于此功能尚未实现，另一种方法是使用 na.rm = TRUE在 reshape 后添加缺失的行到长格式。 OP 有 pointed out由于问题大小和内存限制，必须使用 na.rm = TRUE。

rbind(
  dt.melted.na,
  dt.master[!is.na(visit_id) & is.na(visit_date), .(user, level = 1L, level_id = visit_id)],
  dt.master[!is.na(offer_id) & is.na(offer_date), .(user, level = 2L, level_id = offer_id)],
  fill = TRUE
)

   user level level_id level_date
1:    1     1        2 2018-02-10
2:    2     1        4 2018-04-11
3:    4     1        4 2018-03-02
4:    1     2        1 2018-02-15
5:    2     2        3 2018-04-18
6:    5     1        8       <NA>

这种方法相当笨拙和冗长，但可能有助于克服内存限制。它本质上是对缺失行的“手动” reshape 。

还有另一种可能不那么冗长的选择:

incomplete_rows <- 
  melt(dt.master[!is.na(visit_id) & is.na(visit_date) | !is.na(offer_id) & is.na(offer_date)],
       id.vars = "user",
       measure.vars = list(c("visit_id", "offer_id"), c("visit_date", "offer_date")),
       variable.name = "level",
       value.name = c("level_id", "level_date"))[!is.na(level_id)]
rbind(
  dt.melted.na,
  incomplete_rows
)

在这里，所有行都是从 dt.master 中挑选出来的，这些行是部分不完整的，重新整形为长格式，然后过滤。如果这只涉及 dt.master 行的一小部分，这也可能适用于有限的内存。