- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有两个大数据集(每个 500k obs),我想通过对个人姓名的模糊字符串匹配来链接它们,但也利用其他变量的信息。该问题类似于此处描述的问题:How can I match fuzzy match strings from two datasets?
但是,那里发布的解决方案需要首先通过 expand.grid
生成所有成对的潜在匹配项,但使用我的数据无法做到这一点。如果您已经有两个数据集,每个数据集有 10,000 个 obs,那么这会导致总数据集有 100,000,000 个潜在的成对匹配。
我想首先生成一个多对一合并,其中来自数据集 A 的观察值 $k$ 与来自数据集 B 的 5 个最接近匹配的观察值相匹配(由 Jaro Winkler 字符串距离判断),它们落在在某个年龄段,比如正负 5 岁。
例如,如果数据A中的$k$是
name birthyear
John Smith 1984
而数据集B中的其他观测值是
serial name birthyear
1 John Smith 1983
2 Sara Pinkert 1973
3 John Smyth 1999
4 John Smithe 1985
5 John Smith 1984
6 Jon Smith 1984
然后 $k$ 与数据 B 中的观察值的五个“最佳”匹配应该是 obs 编号 1、4、5、6,对于 +-5 年的出生年份限制。在这种情况下没有。 2 (Sara Pinkert) 由于名字不应该匹配,没有。 3 (John Smyth) 不应该匹配,因为这个观察的出生年份太晚了。
其他库提供的函数和命令,如 fastLink
、stringdist
或 recordLinkage
既好又快,但它们总是只产生一个 -一对一匹配(他们很少有能力结合出生年份段的信息来限制匹配问题的维度)。
到目前为止,我已经能够弄清楚的关闭解决方案是使用 recordLinkage
中的 compare.linkage
函数,但阻止选项 (blockfld) 似乎严格阻止一个特定的变量,因此如何使用出生年份信息的范围并不明显:
rpairs = compare.linkage(dataA,
dataB,
blockfld = c("birthyear"),
identity1 = dataA$id1,
identity2 = dataB$id2,
n_match = 5,
strcmpfun = jarowinkler)
但这只会阻止完美的生日,因此它会返回两个匹配项,这将是 obs no。 5 和 6(John Smith 1984,Jon Smith 1984)。
这是匹配问题的一些示例数据。由于体积小,它看起来微不足道,但在每个样本有 50 万个 obs 的整个样本中(其中一些出现在一个数据中但没有出现在其他数据中,一些出现在两个数据中但可能在他们的名字中有拼写错误)它更加棘手。
name1 = c("John Smith", "Adam Bower", "Felix von Epstein", "Charles Sawyer", "Benjamin Hoynes")
yob1 = c(1980, 1977, 1981, 1981, 1978)
dataA = data.frame(name1, yob1)
name2 = c("Jon Smyth", "Perry Bower", "Felix Epstein", "Terry Barnes", "John Smith", "Benamin Hoynes", "Frank Sawyer", "Charles Sawer", "Charles Sauer", "Philip Smith", "Franklin Sawyer", "Jonathan Smith", "Gabriel Bars", "Aron Bow", "Harry Haynes")
yob2 = c(1981, 1983, 1981, 1982, 1983, 1980, 1980, 1986, 1982, 1978, 1977, 1981, 1979, 1975, 1980)
dataB = data.frame(name2, yob2)
最佳答案
根据评论编辑附加代码
也许这对你有帮助
您的数据
name1 = c("John Smith", "Adam Bower", "Felix von Epstein", "Charles Sawyer", "Benjamin Hoynes")
yob1 = c(1980, 1977, 1981, 1981, 1978)
dataA = data.frame(name1, yob1)
name2 = c("Jon Smyth", "Perry Bower", "Felix Epstein", "Terry Barnes", "John Smith", "Benamin Hoynes", "Frank Sawyer", "Charles Sawer", "Charles Sauer", "Philip Smith", "Franklin Sawyer", "Jonathan Smith", "Gabriel Bars", "Aron Bow", "Harry Haynes")
yob2 = c(1981, 1983, 1981, 1982, 1983, 1980, 1980, 1986, 1982, 1978, 1977, 1981, 1979, 1975, 1980)
dataB = data.frame(name2, yob2)
近似字符串匹配和年龄段过滤的功能
top_five_amatch <- function(A_row, B) {
require(stringdist)
ans <- intersect(order(stringdist(A_row$name1, dataB$name2, method="jw")), which(abs(A_row$yob1 - dataB$yob2) <= 5))
return(head(ans, 5))
}
它的核心是
library(stringdist)
order(stringdist(dataA$name1[1], dataB$name2, method="jw")) # order of string-distance
# [1] 5 1 12 10 14 7 8 9 6 11 3 2 4 15 13
which(abs(dataA$yob1[1] - dataB$yob2) <= 5) # age band filter
# [1] 1 2 3 4 5 6 7 9 10 11 12 13 14 15
2 的
intersect
将仅保留年龄段过滤后存在的值
主要
获取每行 dataA
I <- lapply(seq_len(nrow(dataA)), function(i) top_five_amatch(dataA[i,], dataB))
# [[1]]
# [1] 5 1 12 10 14
# [[2]]
# [1] 14 7 1 4 6
# [[3]]
# [1] 3 1 2 6 11
# [[4]]
# [1] 8 9 7 11 2
# [[5]]
# [1] 6 15 4 2 11
dataA
每一行的前 5 个匹配项
matchB <- dataB[unlist(I), ]
# name2 yob2
# 5 John Smith 1983
# 1 Jon Smyth 1981
# 12 Jonathan Smith 1981
# 10 Philip Smith 1978
# 14 Aron Bow 1975
# 14.1 Aron Bow 1975
# 7 Frank Sawyer 1980
# 1.1 Jon Smyth 1981
# 4 Terry Barnes 1982
# 6 Benamin Hoynes 1980
# 3 Felix Epstein 1981
# 1.2 Jon Smyth 1981
# 2 Perry Bower 1983
# 6.1 Benamin Hoynes 1980
# 11 Franklin Sawyer 1977
# 8 Charles Sawer 1986
# 9 Charles Sauer 1982
# 7.1 Frank Sawyer 1980
# 11.1 Franklin Sawyer 1977
# 2.1 Perry Bower 1983
# 6.2 Benamin Hoynes 1980
# 15 Harry Haynes 1980
# 4.1 Terry Barnes 1982
# 2.2 Perry Bower 1983
# 11.2 Franklin Sawyer 1977
要以多列的“宽”格式保存,请尝试类似的方法
matchB <- lapply(I, function(i) dataB[i,])
Reduce("cbind", matchB)
# name2 yob2 name2 yob2 name2 yob2
# 5 John Smith 1983 Frank Sawyer 1980 Felix Epstein 1981
# 1 Jon Smyth 1981 Franklin Sawyer 1977 Benamin Hoynes 1980
# 12 Jonathan Smith 1981 Aron Bow 1975 Perry Bower 1983
# 10 Philip Smith 1978 Benamin Hoynes 1980 Terry Barnes 1982
# 14 Aron Bow 1975 Gabriel Bars 1979 Franklin Sawyer 1977
# name2 yob2 name2 yob2
# 5 Charles Sawer 1986 Benamin Hoynes 1980
# 1 Charles Sauer 1982 Franklin Sawyer 1977
# 12 Franklin Sawyer 1977 Harry Haynes 1980
# 10 Frank Sawyer 1980 Terry Barnes 1982
# 14 Gabriel Bars 1979 Felix Epstein 1981
关于r - 通过R中的模糊多对一字符串匹配匹配两个数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47970016/
我正在从 Stata 迁移到 R(plm 包),以便进行面板模型计量经济学。在 Stata 中,面板模型(例如随机效应)通常报告组内、组间和整体 R 平方。 I have found plm 随机效应
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 6年前关闭。 Improve this qu
我想要求用户输入整数值列表。用户可以输入单个值或一组多个值,如 1 2 3(spcae 或逗号分隔)然后使用输入的数据进行进一步计算。 我正在使用下面的代码 EXP <- as.integer(rea
当 R 使用分类变量执行回归时,它实际上是虚拟编码。也就是说,省略了一个级别作为基础或引用,并且回归公式包括所有其他级别的虚拟变量。但是,R 选择了哪一个作为引用,以及我如何影响这个选择? 具有四个级
这个问题基本上是我之前问过的问题的延伸:How to only print (adjusted) R-squared of regression model? 我想建立一个线性回归模型来预测具有 15
我在一台安装了多个软件包的 Linux 计算机上安装了 R。现在我正在另一台 Linux 计算机上设置 R。从他们的存储库安装 R 很容易,但我将不得不使用 安装许多包 install.package
我正在阅读 Hadley 的高级 R 编程,当它讨论字符的内存大小时,它说: R has a global string pool. This means that each unique strin
我们可以将 Shiny 代码写在两个单独的文件中,"ui.R"和 "server.R" , 或者我们可以将两个模块写入一个文件 "app.R"并调用函数shinyApp() 这两种方法中的任何一种在性
我正在使用 R 通过 RGP 包进行遗传编程。环境创造了解决问题的功能。我想将这些函数保存在它们自己的 .R 源文件中。我这辈子都想不通怎么办。我尝试过的一种方法是: bf_str = print(b
假设我创建了一个函数“function.r”,在编辑该函数后我必须通过 source('function.r') 重新加载到我的全局环境中。无论如何,每次我进行编辑时,我是否可以避免将其重新加载到我的
例如,test.R 是一个单行文件: $ cat test.R # print('Hello, world!') 我们可以通过Rscript test.R 或R CMD BATCH test.R 来
我知道我可以使用 Rmd 来构建包插图,但想知道是否可以更具体地使用 R Notebooks 来制作包插图。如果是这样,我需要将 R Notebooks 编写为包小插图有什么不同吗?我正在使用最新版本
我正在考虑使用 R 包的共享库进行 R 的站点安装。 多台计算机将访问该库,以便每个人共享相同的设置。 问题是我注意到有时您无法更新包,因为另一个 R 实例正在锁定库。我不能要求每个人都关闭它的 R
我知道如何从命令行启动 R 并执行表达式(例如, R -e 'print("hello")' )或从文件中获取输入(例如, R -f filename.r )。但是,在这两种情况下,R 都会运行文件中
我正在尝试使我当前的项目可重现,因此我正在创建一个主文档(最终是一个 .rmd 文件),用于调用和执行其他几个文档。这样我自己和其他调查员只需要打开和运行一个文件。 当前设置分为三层:主文件、2 个读
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 5年前关闭。 Improve this qu
我的 R 包中有以下描述文件 Package: blah Title: What the Package Does (one line, title case) Version: 0.0.0.9000
有没有办法更有效地编写以下语句?accel 是一个数据框。 accel[[2]]<- accel[[2]]-weighted.mean(accel[[2]]) accel[[3]]<- accel[[
例如,在尝试安装 R 包时 curl作为 usethis 的依赖项: * installing *source* package ‘curl’ ... ** package ‘curl’ succes
我想将一些软件作为一个包共享,但我的一些脚本似乎并不能很自然地作为函数运行。例如,考虑以下代码块,其中“raw.df”是一个包含离散和连续类型变量的数据框。函数“count.unique”和“squa
我是一名优秀的程序员,十分优秀!