r - 从网络源获取 R 中的数据作为数据框

Question

我正在尝试使用 RCurl 包将一些空气污染背景数据作为 data.frame 直接加载到 R 中。

有问题的网站在下载 .csv 文件之前有 3 个下拉框可供选择，如下图所示:



我试图从下拉框中选择 3 个值，然后使用“下载 CSV”按钮将数据作为 data.frame 直接下载到 R 中。

我想下载特定站点的多年和多种污染物的不同组合。

在 StackOverflow 上的其他帖子中，我遇到了 getForm RCurl 包中的函数，但我不明白如何使用此函数控制 3 个下拉框。

数据源的 URL 是:http://uk-air.defra.gov.uk/data/laqm-background-maps?year=2011

Answer 1

对于这个网站，您可以构建一个 url 并提交一个 GET请求简单地获取 csv:

library(httr)
baseURL <- "http://uk-air.defra.gov.uk/data/laqm-background-maps.php"
queryList <- parse_url(baseURL)
queryList$query <- list("bkgrd-la" = 359, "bkgrd-pollutant" = "no2", "bkgrd-year" = 2011,
                        action = "data", year = 2011, submit = "Download+CSV")
res <- GET(build_url(queryList), write_disk("temp.csv"))

您可以通过解析原始页面来获取表单的代码:

library(XML)
doc <- htmlParse("http://uk-air.defra.gov.uk/data/laqm-background-maps?year=2011")
councils <- doc["//*[@id='bkgrd-la']/option", fun = function(x){
  data.frame(value = xmlGetAttr(x, "value"), council = xmlValue(x))
  }]
councils <- do.call(rbind.data.frame, councils)
> head(councils)
value                      council
1   359        Aberdeen City Council
2   360        Aberdeenshire Council
3     1        Adur District Council
4     2    Allerdale Borough Council
5     4 Amber Valley Borough Council
6   401      Anglesey County Council

pollutants <- doc["//*[@id='bkgrd-pollutant']/option", fun = function(x){
  data.frame(value = xmlGetAttr(x, "value"), council = xmlValue(x))
}]
pollutants <- do.call(rbind.data.frame, pollutants)
> head(pollutants)
value council
1   no2     NO2
2   nox     NOx
3  pm10    PM10
4  pm25   PM2.5
5   no2     NO2
6   nox     NOx

等等...