- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试抓取这个PDF包含有关公司子公司的信息。我看过很多使用 R 包 Tabulizer 的帖子,但不幸的是,由于某些原因,它在我的 Mac 上不起作用。由于 Tabulizer 使用 Java 依赖项,我尝试安装不同版本的 Java (6-13),然后重新安装软件包,但仍然没有成功(当我运行 extract_tables
R session 时会发生这种情况)中止)。
我需要从第 19 页开始抓取整个 pdf,并构建一个显示公司名称及其子公司的表格。在 pdf 中,名称以任何字母/数字/符号开头,而子公司以单点或双点开头。
所以我尝试使用 pdftools
和 pdftables
软件包。下面的代码提供了一个与第 19 页类似的表格:
library(pdftools)
library(pdftables)
library(tidyverse)
tt = pdf_text("~/DATA/978-1-912036-41-7-Who Owns Whom UK-Ireland-Volume-1.pdf")
df <- tt[19]
df2 <- strsplit(df, ' ')
df3 <-as.data.frame(do.call(cbind, df2)) %>%
filter(V1!="") %>%
mutate(V2=str_split_fixed(V1, "England . ", 2)) %>%
mutate(V3=str_split_fixed(V1, "England", 2)) %>%
select(V2,V3,V1) %>%
mutate(V1=ifelse(V1==V3,"",V1),V3=ifelse(V3==V2,"",V3)) %>%
select(V3,V2,V1) %>%
mutate_at(c("V1"), funs(lead), n = 1 ) %>%
mutate_at(c("V3"), funs(lag), n = 1 ) %>%
unite(V4,V1, V2, V3, sep = "", remove = FALSE)
我确信有一个更复杂的函数可以更巧妙地完成此操作。例如,将 '\n'
或 '\r'
与 strsplit
结合使用:
df2 <- strsplit(df, '\n')
df3 <- do.call(cbind.data.frame, df2)
比我更有经验的人可以建议我如何抓取这张 table 吗?
最佳答案
就像@Justin Coco 暗示的那样,这很有趣。代码最终比我预期的要复杂一些,但我认为结果应该是你想象的那样。
我使用了 pdf_data
而不是 pdf_text
,这样我就可以处理单词的位置。
library(pdftools)
#> Using poppler version 0.86.1
library(tidyverse)
pdf_location <- "/location/of/pdf"
pdf_raw <- pdf_data(pdf_location)
然后我编写了一个可以处理 PDF 页面的函数:
get_table <- function(x, page) {
x[[page]] %>% # select page, I use this variable again below, which is why I'm not simply looping through the whole object
filter(y > 25, y < 833) %>% # above and below these positions is the pdf header which we are not interested in
mutate(column = case_when( # I check the x-positions where the columns start an end and transformed them into column numbers
x >= 36 & x < 220 ~ 1L,
x >= 220 & x < 403 ~ 2L,
x >= 403 ~ 3L,
)) %>%
mutate(newrow = case_when( # check if this is a new line
column == 1L & x == 36 ~ TRUE,
column == 2L & x == 220 ~ TRUE,
column == 3L & x == 403 ~ TRUE,
TRUE ~ FALSE
),
row = cumsum(newrow), # get the row number
subsidiary = newrow & text == ".") %>% # as you say, subsidiary names start with "."
group_by(row, column) %>% # grouping and summarising moves the text into one 'cell'
summarise(text = paste(text, collapse = " "),
subsidiary = sum(subsidiary) > 0,
.groups = "drop") %>%
mutate(headline = !str_detect(text, "\\s")) %>% # the category headlines (@, A, B, C, etc.) are still in there but can be identified easily since they lack whitespace
mutate(row = ifelse(row > 1 & !subsidiary & !lag(subsidiary) & !lag(headline), lag(row), row),
row = ifelse(row > 1 & !subsidiary & !lag(subsidiary) & !lag(headline), lag(row), row)) %>% # some company names stretch over up to three lines but lines are not indented
group_by(row, column) %>%
summarise(text = paste(text, collapse = " "),
subsidiary = sum(subsidiary) > 0,
headline = head(headline, 1),
.groups = "drop") %>%
mutate(page = page, .before = row) # finally add the page number to keep track
}
您可以在一页上进行测试或一次循环所有页面:
pdf_df <- map_df(19:1428, ~get_table(pdf_raw, page = .x))
我已经喜欢 df,但您要求表格应该“显示公司名称及其子公司”。因此,让我们对 pdf_df
对象进行更多争论。
pdf_df %>%
filter(!headline) %>%
mutate(company_nr = cumsum(!subsidiary)) %>%
group_by(company_nr) %>%
mutate(company = text[!subsidiary & !headline]) %>%
filter(subsidiary) %>%
select(company_nr, company, subsidiary = text)
#> # A tibble: 303,380 x 3
#> # Groups: company_nr [115,477]
#> company_nr company subsidiary
#> <int> <chr> <chr>
#> 1 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . ?What If! China Holdings Li…
#> 2 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . . ?What If! Innovation Sing…
#> 3 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . ?What If! Joint Ventures Li…
#> 4 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . ?What If! Limited England
#> 5 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . . ? What If ! Inventors Lim…
#> 6 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . . ? What If ! Training Limi…
#> 7 1 ?WHAT IF! HOLDINGS LIMITED The Gla… . Nobby Styles Limited Englan…
#> 8 2 @A COMPANY LIMITED Premier Suite 4… . Aviva Holdings Limited Engl…
#> 9 2 @A COMPANY LIMITED Premier Suite 4… . Copper Mountain Networks Li…
#> 10 2 @A COMPANY LIMITED Premier Suite 4… . Just Ties Limited England
#> # … with 303,370 more rows
由 reprex package 于 2021 年 5 月 23 日创建(v2.0.0)
如果有问题,请在评论中告诉我。显然,我没有浏览所有页面来检查脚本是否有一些特定公司名称等的怪癖,但第一页对我来说看起来不错。
关于r - PDF抓取: get company and subsidiaries tables,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67489987/
我的代码有一些问题。我正在尝试遍历包含许多 PDF 的 Drive 文件夹,然后将它们合并为一个文件。当我使用我的代码时,它只是为 Drive 文件夹中的最后一个 PDF 创建一个 PDF,而不是按预
我从 PDF Specification 获取了 PDF 规范中的最小 PDF 示例。 ,将其复制到记事本,将文件重命名为扩展名为 .pdf。 我可以用其他 PDF 查看器(PDF-XChange、S
感谢您在以下方面的帮助: 我有 2 个部分可访问的 PDF(包含标签),我想使用一些命令行工具(如 PDFtk 或 Ghostscript,或任何 Perl 模块)将它们连接起来: 我已经尝试使用 P
我想使用 ghostscript 将矢量 pdf 转换为光栅 pdf(即光栅化矢量 pdf)。但是即使我添加了解析参数 -r300,我也找不到合适的参数来执行此操作。 我使用的代码是-dSAFER -
我无法在 FAQ 中找到这个功能是否存在于 API 中,尽管它在书中提到作为潜在可用的东西。有没有人有任何实现此功能的经验? 最佳答案 在 This thread (日期为 2007 年 6 月)Pa
我要放文件sample.pdf在我的网站上,并希望使用 pdf.js 显示它.我想要的是显示我自己的文件,如 demo ,带有工具栏,放大/缩小等。到目前为止,我还不能这样做。 我确实检查了 hell
我知道这可能不是严格意义上的编程问题(也许是,我不知道)但我在尝试转换常规 pdf(带有超链接、书签、图像、嵌入字体等)时遇到了严重问题.) 转换为 PDF/A-1 格式。 当我用 pdfaPilot
这是 PDF.js 网站 https://github.com/mozilla/pdf.js 我正在搜索和阅读很多文章,大多数编码都是将 pdf 导入 pdf.js 并在浏览器上显示,我不明白是不是
谁能建议我如何将扫描图像转换为可搜索图像或如何将扫描 pdf 转换为可搜索 pdf? 很长一段时间以来,我一直陷入这种情况。 我已经在 ubuntu 中尝试过 pdfocr 应用程序,但没有成功。 最
作为我对客户端/服务器 pdf 签名研究的一部分,我测试了 itext pdf 延迟签名示例。不幸的是,我生成的 pdf 即合并空签名 pdf 和哈希值的输出显示无效签名。 我的代码片段如下 cla
我想将一个 PDF 页面插入到另一个已缩放的 PDF 页面中。我想使用 iTextSharp 来实现此目的。 我有一个矢量绘图,可以导出为单页 PDF 文件。我想将此文件添加到其他 PDF 文档的页面
作为我对客户端/服务器 pdf 签名研究的一部分,我测试了 itext pdf 延迟签名示例。不幸的是,我生成的 pdf 即合并空签名 pdf 和哈希值的输出显示无效签名。 我的代码片段如下 cla
我想为 Kindle 转换电子书。我尝试使用 Calibre 将具有复杂格式样式和图像的基于两种语言的基于文本的大型 PDF 电子书转换为适用于 Kindle 的 AZW3 电子书,并且还尝试了亚马逊
我在 Google Chrome 中显示 pdf 时遇到问题。问题是 Chrome 将 pdf 的某些页面显示为黑色。 启用 Chrome PDF 查看器时会发生这种情况。如果我禁用此插件并使用 Ad
我确信这个问题无处不在,尽管我似乎找不到答案。我希望我的 PDF 文档在 PDF 阅读器中显示时没有空白页,但随后在封面后打印空白页,这样打印出来的文档在右侧甚至左侧都有奇数页。还有其他人遇到过这个问
我需要自动裁剪 pdf 文件(去除白边)。到目前为止,我尝试了两种并不完美的工具: pdf裁剪 问题:它不会裁剪某些 pdf。 pdf-crop-margins 问题:有时它裁剪得太多(精细的细节)。
This PDF由几个源文件组成。其中五个是包含 alpha channel 的 PNG。一种是没有 alpha channel 的 PNG。最后一 block 是带有透明效果的 Photoshop
我的团队将内部 wiki 页面用于各种内容。这些页面是使用 MediaWiki 创建的。我想知道是否有任何方法可以将 wiki 页面转换为 PDF 格式。我必须用它来将用户文档转换为 PDF 格式,以
我希望能够从我可能在数据库或 xml 或任何其他结构化形式中拥有的数据生成高度图形化(也包含大量文本内容)的 PDF 文件。 目前,我们的平面设计师在将内容作为 MS Word 文档后,在 Photo
我正在寻找可以帮助我找到重复 PDF 的实用程序。问题:我有 1000 个 PDF 文件。有些是重复的。由于不同的文件名和文件大小的微小差异,它们不容易被检测到。是否有实用程序/算法/库可以帮助我找到
我是一名优秀的程序员,十分优秀!