r - 计算时间戳几乎相同的值之间的差异

Question

请考虑这些输入数据:

• 我有两个仪器(41 和 54)。
• 它们都测量多个 jar 的压力(T1 和 T2)。
• 他们几乎同时测量压力，但不完全相同。

示例数据:

data  <- data.table(
   time = as.POSIXct(paste("2017-01-01", c("11:59", "12:05", "12:02", "12:03", "14:00", "14:01", "14:02", "14:06")), tz = "GMT"),
   instrumentId = c(41, 54, 41, 54, 41, 54, 41, 54),
   tank = c("T1", "T1", "T2", "T2", "T1", "T1", "T2", "T2"),
   pressure = c(25, 24, 35, 37.5, 22, 22.2, 38, 39.4))

我想为每个 jar 计算仪器 41 和仪器 54 测量的压力之间的差异，假设 20 分钟内测量的值属于同一样本。

理想情况下，差异的时间戳将是两个比较值的时间戳的平均值。

这是到目前为止使用的脚本:

## Calculate difference of time between 2 consecutive lines
data <- data[, timeDiff := difftime(time, shift(time, type = "lag", fill = -Inf), tz = "GMT", units = "mins"),
                     by = tank]

# Assign the same timestamp to all the measures of a same sample
referenceTimes <- data[timeDiff > 20, .(time)]
data <- data[timeDiff < 20, time := referenceTimes]

# Calculate the difference between the values measured by both instruments
wideDt <- dcast.data.table(data,time + tank ~ instrumentId, value.var = c( "pressure"))
instruments <- as.character(unique(data$instrumentId))
wideDt <- wideDt[, difference := get(instruments[1]) - get(instruments[2])]

它完成了这项工作，但它最大的问题是数据应该以正确的方式排序，否则时移计算会返回无意义的结果。使用示例输入数据没问题，但请尝试使用 data <- data[order(pressure)] 对它们进行“取消排序”例如。在这种情况下，data <- data[order(tank, time, instrumentId)]应该加上。

此外，我的印象是它可以更简洁、更高效、更简洁。一句话，还是用data.table比较好的实力。

预期结果是:

time                 tank  41   54    difference
-------------------------------------------------
2017-01-01 11:59:00  T1    25   24.0   1.0
2017-01-01 12:02:00  T2    35   37.5  -2.5
2017-01-01 14:00:00  T1    22   22.2  -0.2
2017-01-01 14:02:00  T2    38   39.4  -1.4

知道如何正确执行此任务吗？

Answer 1

您可以轻松地在 tank 和 time 上对两个子集执行滚动自连接，这不需要任何初始重新排序，同时指定最大滚动间隔(20分钟 = 20 * 60 秒)

res <- 
 data[instrumentId == 54, .SD[data[instrumentId == 41], on = .(tank, time), roll = -20*60]]
res
#                   time instrumentId tank pressure i.instrumentId i.pressure
# 1: 2017-01-01 11:59:00           54   T1     24.0             41         25
# 2: 2017-01-01 12:02:00           54   T2     37.5             41         35
# 3: 2017-01-01 14:00:00           54   T1     22.2             41         22
# 4: 2017-01-01 14:02:00           54   T2     39.4             41         38

然后，计算差异只是 res[, difference := pressure - i.pressure]

的问题

但是如果你想要你想要的格式，恐怕它需要一些熔化/类型转换

res2 <-
  dcast(
    melt(res, c("time", "tank"), 
         measure = patterns("instrumentId", "pressure")),
    time + tank ~ value1, value.var = "value2"
        )[, difference := `41` - `54`]

res2
#                   time tank 41   54 difference
# 1: 2017-01-01 11:59:00   T1 25 24.0        1.0
# 2: 2017-01-01 12:02:00   T2 35 37.5       -2.5
# 3: 2017-01-01 14:00:00   T1 22 22.2       -0.2
# 4: 2017-01-01 14:02:00   T2 38 39.4       -1.4