- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我最近需要按 id 跨时间向前和向后分布 12 个时不变变量的值。我的数据集包含 2,448,638 个观测值和 57 个变量。
这是一个可重现的讨论示例:
# Load packages
library(tidyverse)
library(zoo)
library(lubridate)
library(tidyr)
# Reproducable example
set.seed(2017)
df <- tibble(
id = integer(15),
days = integer(15),
race = character(15),
language = character(15)
) %>%
mutate(
id = rep(1:3, each = 5)
) %>%
group_by(id) %>%
mutate(
days = as.integer(c(rnorm(2, -30, 15), 0, rnorm(2, 200, 100))),
race = if_else(days == 0, sample(c("W", "AA", "A", "O"), 1, replace = TRUE), NA_character_),
language = if_else(days == 0, sample(c("English", "Spanish", "Other"), 1, replace = TRUE), NA_character_)
) %>%
arrange(id, days)
df
id days race language
<int> <int> <chr> <chr>
1 1 -31 <NA> <NA>
2 1 -8 <NA> <NA>
3 1 0 W English
4 1 24 <NA> <NA>
5 1 273 <NA> <NA>
6 2 -31 <NA> <NA>
7 2 -23 <NA> <NA>
8 2 0 O English
9 2 4 <NA> <NA>
10 2 199 <NA> <NA>
11 3 -33 <NA> <NA>
12 3 -6 <NA> <NA>
13 3 0 A English
14 3 234 <NA> <NA>
15 3 357 <NA> <NA>
我想出了几种方法来获得我想要的结果:
使用动物园::na.locf
time_invariant <- c("race", "language")
df2 <- df %>%
group_by(id) %>%
mutate_at(.vars = time_invariant, .funs = na.locf, na.rm = FALSE) %>%
arrange(id, desc(days)) %>%
mutate_at(.vars = time_invariant, .funs = na.locf, na.rm = FALSE) %>%
arrange(id, days)
在使用我的 2016 MB Pro 的可重现示例中,需要 0.066293 秒才能完成。
我也试过 tidyr::fill
df2 <- df %>%
group_by(id) %>%
fill_(fill_cols = time_invariant) %>%
fill_(fill_cols = time_invariant, .direction = "up")
在使用我的 2016 MB Pro 的可重现示例中需要 0.04381585 秒才能完成。
然而,根据我的真实数据,zoo::na.locf 方法花费了 3.172092 分钟,而 tidyr::fill 方法花费了 5.523152 分钟。这些时间并不可怕,但我确实注意到它们比 Stata 慢得多(在我运行 Stata 14.2 的 2016 MB Pro 上为 9.9060 秒)。这种速度差异促使我想看看是否有人知道更快的方法。
最佳答案
很确定这可以通过专家更快地完成:
df <- structure(list(id = c(1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L,
3L, 3L, 3L, 3L, 3L), days = c(-31L, -8L, 0L, 24L, 273L, -31L,
-23L, 0L, 4L, 199L, -33L, -6L, 0L, 234L, 357L), race = c(NA,
NA, "W", NA, NA, NA, NA, "O", NA, NA, NA, NA, "A", NA, NA), language = c(NA,
NA, "English", NA, NA, NA, NA, "English", NA, NA, NA, NA, "English",
NA, NA)), class = "data.frame", row.names = c(NA, -15L), .Names = c("id",
"days", "race", "language"))
library(dplyr)
library(zoo)
library(tidyr)
time_invariant <- c("race", "language")
dplyrzoo <- function() {
df2 <- df %>%
group_by(id) %>%
mutate_at(.cols = time_invariant, .funs = na.locf, na.rm = FALSE) %>%
arrange(id, desc(days)) %>%
mutate_at(.cols = time_invariant, .funs = na.locf, na.rm = FALSE) %>%
arrange(id, days)
}
dplyrfill <- function() {
df2 <- df %>%
group_by(id) %>%
fill_(fill_cols = time_invariant) %>%
fill_(fill_cols = time_invariant, .direction = "up")
}
library(data.table)
dtstyle <- function() {
dt <- data.table(df)
cols <- c("race", "language")
dt[, (cols) := lapply(.SD, function(x) na.omit(x)[1]), .SDcols=cols, by =.(id)]
dt
}
#check results
all.equal(as.data.frame(dplyrzoo()), as.data.frame(dplyrfill()))
all.equal(as.data.frame(dtstyle()), as.data.frame(dplyrfill()))
#timings
library(microbenchmark)
timings <- capture.output(microbenchmark(dplyrzoo=dplyrzoo(),
dplyrfill=dplyrfill(),
dtstyle=dtstyle(),
times=100L))
writeLines(paste("#", timings))
# Unit: milliseconds
# expr min lq mean median uq max neval
# dplyrzoo 6.7952 7.01815 7.399851 7.18815 7.53685 10.8360 100
# dplyrfill 4.7458 5.02865 5.319848 5.16990 5.34750 7.8329 100
# dtstyle 1.3598 1.54025 1.692119 1.65420 1.73280 4.0413 100
关于r - 更快的上次观察结转 (LOCF),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43335879/
好吧,我知道这个问题已经被问了无数次了。但是,对于我在谷歌搜索中似乎无法找到的问题,我还有一个小补充。 我当然不是 FFMPEG 的专家……我一直在使用 FFMPEG 的标准加速/减速模板,我正在使用
考虑这三个文档... [ { _id: "...", _rev: "...", title: "Foo", body: "...
我想知道访问我的全局变量的最快方法...它们只会在 Beta 测试阶段发生变化。在我们上线之前。从那时起,它们将永远不会改变。 我认为从 web.config 中获取内容会产生开销,而且编写 App.
这个问题在这里已经有了答案: 11 年前关闭。 Possible Duplicate: Is there a performance difference between BETWEEN and IN
我很想知道对通常作为查询目标的数字列进行分区是否有性能优势。目前我有一个包含约 5000 万条记录的物化 View 。当使用常规 b 树索引并按此数字列搜索时,我得到的成本为 7,查询结果大约需要 0
我需要编写一个库,它执行许多远程 HTTP 调用来获取内容。我可以按照描述做here ,但是有没有更好的方法(在性能方面)如何做到这一点?如果我按照示例中所述进行操作,我总是会创建一个 URL 对象,
该代码非常不言自明。只是有很多我需要独立随机化的范围。例如,范围('W1:W4')不应与范围('W5:W8')混淆,因此我不能只是随机化范围('W1:W80')。任何帮助或建议都会很棒!多谢。目前,代
我正在使用 ADT 模拟器。我在我的模拟器中使用默认的 Android 虚拟设备。我创建了一个版本 4.0.3。 问题 太慢了。有时我在尝试更改 fragment 时会收到加载点击。 我使用的代码是有
我正在尝试获取一个包含三个表中的信息的数组。结果应该是一个数组,我可以在其中循环遍历第一个表、第二个表中的相关行以及第三个表到第二个表中的相关行。目前,我有三个独立的 SQL 查询,然后将它们重组为一
我已经学会了两种在服务器上上传图像的方法(可能还有更多..)。 1) 创建 NSData 并将其添加到请求正文中 2)创建字节数组并像简单数组一样以json形式发送 1) 创建 NSData 并将其添
我有一个 UItextview,我可以在里面写入数据类,我可以在我的 View 中的任何地方提供数据,在 ViewDidAppear 函数中我传递了我的数据,但它有点慢。文本在 0.2-0.3 秒后出
如何为 discoverAllContactUserInfosWithCompletionHandler 创建优先级高于默认值的 CKOperation? 我找不到不使用 [[CKContainer
我在 unix 模块下编写了一个内核级函数,用于对系统负载进行采样。我在 clock.c 下的 clock() 中调用示例函数,以在每个时钟(例如,我的系统上每 10 毫秒)拍摄系统负载的快照。有没有
我正在制作一个应用程序,该应用程序将根据变量的值使用鼠标/键盘(宏)模拟操作。 这里有我制作的 de 扫描代码: void ReadMemory(int value){ DWORD p
我想知道在计算上调用嵌套在对象中的函数的最快方法是什么,所以我做了一个快速的 jsPerf.com 基准测试,其中我考虑了三种可能性——从数组中调用函数,从“核心”中调用函数对象和函数对象: var
我用 php 做了一个图像缩放器。调整图像大小时,它会缓存一个具有新尺寸的新 jpg 文件。下次您调用确切的 img.php?file=hello.jpg&size=400 时,它会检查是否已经创建了
这个问题在这里已经有了答案: 关闭 11 年前。 Possible Duplicate: Which is best for data store Struct/Classes? 考虑我有一个 Em
我正在尝试为多组列自动计算每行的平均分数。例如。一组列可以代表不同比例的项目。这些列也被系统地命名 (scale_itemnumber)。 例如,下面的虚拟数据框包含来自三个不同比例的项目。(可能会出
所以我知道散列图使用桶和散列码等等。根据我的经验,Java 哈希码并不小,但通常很大,所以我假设它没有在内部建立索引。除非哈希码质量很差导致桶长度和桶数量大致相等,否则 HashMap 比名称-> 值
假设我有一个非常缓慢和大的 for 循环。 如何将其拆分为多个线程以使其运行速度更快? for (int a = 0; a { slowMet
我是一名优秀的程序员,十分优秀!