r - 在多个日期范围之间过滤

Question

我有一个大型数据框，两周内每秒进行四次测量。因此数据框非常大。
我还有两个带有开始日期和结束日期的向量，它们定义了数据帧内的某些时间范围，我必须过滤掉这些时间范围。
我想要做的是提取开始日期和结束日期之间的数据。
我的数据看起来像这样。

library(lubridate)
library(dplyr)

df <- data.frame(datetime = seq(ymd_hms("2020/01/01 00:00:00"),
                                by = "sec",
                                length.out = 3600),
                 var = rnorm(3600))

我的开始/结束向量看起来像这样。这里我只添加了两个开始/结束组合。但实际向量包含更多值。

start = c(ymd_hms("2020/01/01 00:1:00"), ymd_hms("2020/01/01 00:30:00"))
end = c(ymd_hms("2020/01/01 00:1:04"), ymd_hms("2020/01/01 00:30:04"))

我试着过滤它，使用

filtered <- df %>%
  filter(datetime >= start & datetime <= end)

head(filtered)

             datetime        var
1 2020-01-01 00:01:00 -0.2245330
2 2020-01-01 00:01:02  0.5926424
3 2020-01-01 00:01:04 -0.3824533
4 2020-01-01 00:30:01 -0.7202059
5 2020-01-01 00:30:03 -0.5775794

但它似乎对数据进行了下采样，因为过滤后的数据帧在第一个时间间隔内只有三个测量值，而不是预期的五个值。

如果我只过滤第一个开始日期和结束日期，我会得到五个值。

filtered2 <- df %>%
  filter(datetime >= start[1] & datetime <= end[1])

head(filtered2)

             datetime         var
1 2020-01-01 00:01:00 -0.22453305
2 2020-01-01 00:01:01  1.13452854
3 2020-01-01 00:01:02  0.59264239
4 2020-01-01 00:01:03 -0.03700048
5 2020-01-01 00:01:04 -0.38245332

我卡住的地方是:
为什么第一次过滤有效，但没有返回预期的完整日期范围？
以及如何过滤完整的数据？

我已经尝试过 filter(between(datetime, start, end)。这给了我预期的结果，但只针对第一个日期范围。看起来 dplyr::between code> 不接受向量。

我们非常欢迎任何帮助。

更新
@ekoam 已正确指出 data.table::between 也可以正常工作。但作为 dplyr::between，它不喜欢矢量。

Answer 1

从这个关于如何 Efficient way to filter one data frame by ranges in another 的问题中得到一些启发，我想出了以下解决方案。

一个对于非常大的数据集非常慢:
它获取我上面提供的数据并使用 rowwise()

filtered3 <- df %>% 
  rowwise() %>%
  filter(any(datetime >= start & datetime <= end))

正如我提到的，我的数据中有超过 300 万行，这非常慢。

另一个选项，也来自上面链接的答案，包括使用 data.table 包，它有一个 inrange 函数。这个工作得更快。

library(data.table)
range <- data.table(start = start, end = end)
filtered4 <- setDT(df)[datetime %inrange% range]