- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我从多个网站抓取了一些 URL,并将它们放在一个包含 145 个元素(针对每个被抓取的网站)的大列表中。每个元素在称为 X[[i]] 的列中有 90-300 行。接下来我想做的是在列表的 URL 中搜索“议程”一词,并使用这些 URL 下载文档,但我在执行此操作时遇到了麻烦。
我目前的代码是:
## scrape urls
url_base <- "https://amsterdam.raadsinformatie.nl/sitemap/meetings/201%d"
map_df(7:8, function(i){
page <- read_html(sprintf(url_base, i))
data_frame(urls = html_nodes(page, "a") %>% html_attr("href") )
}) -> urls
rcverg17_18 <- data.frame(urls[grep("raadscomm", urls$urls), ])
## clean data
rcverg17_18v2 <- sub(" .*", "", rcverg17_18$urls)
## scrape urls from websites
list <- map(rcverg17_18v2, function(url) {
url <- glue("https://amsterdam.raadsinformatie.nl{url}")
read_html(url) %>%
html_nodes("a") %>%
html_attr("href")
})
list2 <- lapply(list, as.data.frame)
这给出了一个看起来像这样的大列表:
list2
list2 list[145] List of length 145
[[1]] list[239 x 1] (S3: dataframe) A data.frame with 239 rows and 1 column
[[2]] list[139 x 1] (S3: dataframe) A data.frame with 139 rows and 1 column
[[3]] list[185 x 1] (S3: dataframe) A data.frame with 186 rows and 1 column
[[4]] list[170 x 1] (S3: dataframe) A data.frame with 170 rows and 1 column
[[.]] ...
[[.]] ...
[[.]] ...
一个元素包含不同的信息例如:
list2[[1]]
X[[i]]
1 #zoeken
2 #agenda_container
3 #media_wrapper
4 ...
还有包含空格的 URL,例如:
104 https://amsterdam.raadsinformatie.nl/document/4851596/1/ID_17-01-11_Termijnagenda_Verkeer_en_Vervoer
我想要的是搜索 URL 名称中包含“议程”的 URL,并使用这些 URL 下载文件。我知道我必须使用 download.file() 函数来下载文件,但我不知 Prop 体如何下载。我也不知道如何在这种类型的数据框(带有元素)中搜索 URL。谁能帮我完成代码?
请注意,仍需删除单元格中的空格才能下载文件。
最佳答案
我们可以用下面的代码实现这一点
# Run this code after you create list but before you create list2
data.frame2 = function(x){
data.frame(x, stringsAsFactors = F)
}
# New code for list 2
list2 <- lapply(list, data.frame2)
# Convert list to data frame
df = do.call(rbind.data.frame, list2)
# obtain a vector of URL's which contain the work agenda
url.vec = df[df$x %like% "agenda", ]
# Remove elements of the vector which are the string "#agenda_container" (These are not URL's)
url.vec = url.vec[url.vec != "#agenda_container"]
# Obtain all URL's which contain the string "document". These URL's allow us to fetch documents. The URL's which don't contain "document" are webpages and and can not be fetched,
url.vec = url.vec[url.vec %like% "document"]
# Set the working directory
# setwd("~/PATH WHERE YOU WOULD LIKE TO SAVE THE FILES")
# Download files in a loop
# we have to add the extension ".pdf"
# temp.name will name your files with the last part of the URL, after the last backslash ("/")
for(i in url.vec){
temp.name = tail(unlist(strsplit(i, "\\/")), 1)
download.file(i, destfile = paste(temp.name,".pdf") )
}
检查您的文件夹,应下载所有文件。这是我将您的文件下载到的临时文件夹:
关于r - 从具有多个元素和包含 URL 的行的数据框中下载文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55434220/
我有一个类似于以下的结构。 class A { string title; List bItem; } class B { int pric
本地流 和 远程流 两者都是“媒体流列表 ”。 本地流 包含“本地媒体流 ” 对象 但是,远程流 包含“媒体流 ” 对象 为什么差别这么大? 当我使用“本地流 “- 这个对我有用: localVide
我正在尝试将 8 列虚拟变量转换为 8 级排名的一列。 我试图用这个公式来做到这一点: =IF(OR(A1="1");"1";IF(OR(B1="1");"2";IF(OR(C1="1");"3";I
我正在使用面向对象编程在 Python 中创建一个有点复杂的棋盘游戏的实现。 我的问题是,许多这些对象应该能够与其他对象交互,即使它们不包含在其中。 例如Game是一个对象,其中包含PointTrac
有没有办法获取与 contains 语句匹配的最深元素? 基本上,如果我有嵌套的 div,我想要最后一个元素而不是父元素: Needle $("div:contains('Needle')")
出于某种原因,我无法在 Google 上找到答案!但是使用 SQL contains 函数我怎么能告诉它从字符串的开头开始,即我正在寻找等同于的全文 喜欢 'some_term%'。 我知道我可以使用
我正在尝试创建一个正则表达式来匹配具有 3 个或更多元音的字符串。 我试过这个: [aeiou]{3,} 但它仅在元音按顺序排列时才有效。有什么建议吗? 例如: 塞缪尔 -> 有效 琼 -> 无效 S
嘿所以我遇到了这样的情况,我从数据库中拉回一个客户,并通过包含的方式包含所有案例研究 return (from c in db.Clients.Include("CaseStudies")
如果关键字是子字符串,我无法弄清楚为什么这个函数不返回结果。 const string = 'cake'; const substring = 'cak'; console.log(string.in
我正在尝试将包含特定文本字符串的任何元素更改为红色。在我的示例中,我可以将子元素变为蓝色,但是我编写“替换我”行的方式有些不正确;红色不会发生变化。我注意到“contains”方法通常写为 :cont
我想问一下我是否可以要求/包含一个语法错误的文件,如果不能,则require/include返回一个值,这样我就知道所需/包含的文件存在语法错误并且不能被要求/包含? file.php语法错误 inc
我想为所有包含youtube链接的链接添加一个rel。 这就是我正在使用的东西-但它没有用。有任何想法吗? $('a [href:contains(“youtube.com”)]')。attr('re
我正在尝试在 Elasticsearch 中查询。除搜索中出现“/”外,此功能均正常运行。查询如下所示 GET styling_rules/product_line_filters/_search {
我正在开发名为eBookRepository的ASP.NET MVC应用程序,其中包含在线图书。 电子书具有自己的标题,作者等。因此,现在我正在尝试实现搜索机制。我必须使用Elasticsearch作
我已阅读Firebase Documentation并且不明白什么是 .contains()。 以下是文档中 Firebase 数据库的示例规则: { "rules": { "rooms"
我的问题是我可以给出条件[ 'BookTitleMaster.id' => $xtitid, ] 如下所示 $bbookinfs = $this->BookStockin->BookIssue->fi
我需要能够使用 | 检查模式在他们中。例如,对于像“dtest|test”这样的字符串,像 d*|*t 这样的表达式应该返回 true。 我不是正则表达式英雄,所以我只是尝试了一些事情,例如: Reg
我想创建一个正则表达式来不匹配某些单词... 我的字符:var test = "é123rr;and;ià456;or;456543" 我的正则表达式:test.match(\((?!and)(?!o
我在 XSLT 中有一个名为 variable_name 的变量,如果相关产品具有名称为 A 或 B 或两者均为 A & 的属性,我将尝试将其设置为 1 B.
您好,我想让接待员和经理能够查看工作类型和费率并随后进行更新。但是技术人员只能查看不能更新。该图是否有效? 我读到扩展用例是由发起基本用例的参与者发起的。我应该如何区分技术人员只能启动基本案例而不能启
我是一名优秀的程序员,十分优秀!