javascript - 从 R 中使用 JavaScript 抓取页面的数据链接

Question

请帮助我。

我是 R 中网络抓取的新手。我想收集链接下载此页面上的数据表 (http://burkinafaso.opendataforafrica.org/)。我的项目是让这些数据更易于访问。

这是网站:http://burkinafaso.opendataforafrica.org/

在 Donnée 页面中，我有一个扇区列表。农业:43 table 公助:7 table ...

当我点击农业时，我得到了数据集列表。 https://drive.google.com/open?id=1cInWz62HjbcpgJ00rK-8Q-0p71mC59hq

1. 我想获取这些标题的列表。
2. 为每个标题获取数据集的下载链接。

我尝试了下面的这段代码来查看网站的结构。但我没有看到可以让我提取这些链接的架构。

library(RCurl)
library(XML)
library(rvest)
URL <- "http://burkinafaso.opendataforafrica.org/"
pg <- read_html(URL)
p <- html_children(pg)[1]
pp <- html_children(pg)[2]
html_structure(p)
html_structure(pp)

library(RCurl)
library(XML)
library(rvest)
URL <- "http://burkinafaso.opendataforafrica.org/data/#topic=Agriculture"
pg <- read_html(URL)
p <- html_children(pg)[1]
pp <- html_children(pg)[2]
html_structure(p)
html_structure(pp)

例如，我尝试将此代码用于标签中的链接。但是我没有得到不同的下载链接。

URL <- "http://burkinafaso.opendataforafrica.org/data/#topic=Agriculture"
pg <- read_html(URL)
all.url <- html_attr(html_nodes(pg, "a"), "href")
all.url <- as.data.frame(all.url)

正如我所期望的那样，对于每一项表格列表和下载链接。例如:

公共(public)援助 (7):

标签链接

Aide extérieure par secteur de 1995 à 2006 (en millions de FCFA) 下载链接Aide extérieure par type (en millions de FCFA) 下载链接

请帮助我。

Answer 1

网络流量和 API 调用:

所以，如果你开始，例如，

http://burkinafaso.opendataforafrica.org/data/#menu=topic

您可以看到所有顶级链接的列表及其数据集的计数。如果我们单击 Aide Publique (7)，我们将看到 7 个部分，如果您单击其中任何一个，则会向您显示 Select dataset。

如果您在第一次点击时监控网络流量，您将看到为检索 Aide Publique (7) 数据而发出的 API POST 请求:

如果我们进一步检查请求，我们可以观察到 url 中的查询字符串参数和请求负载:

参数基本上是一些关于我们的信息，我们可能会删除；对有效载荷进行的一些实验表明，如果我们排除有效载荷，我们实际上会得到所有主题，而不仅仅是 Aide Publique (7)。

---

API 响应:

现在，响应是 json 并且是一个数组，但在 R 中这意味着一个列表。以列表中某一项的一部分为例:

该信息与实际数据集链接的比较，例如

点击 Select DataSet 产生结束 url

http://burkinafaso.opendataforafrica.org/nthpfqd/aide-ext%C3%A9rieure-par-secteur-de-1995-%C3%A0-2006-en-millions-de-fcfa

与列表项 1(json 的先前图像)的快速比较表明，如果我们考虑这个新的 url 已解码:

http://burkinafaso.opendataforafrica.org/nthpfqd/aide-extérieure-par-secteur-de-1995-à-2006-en-millions-de-fcfa

格式为:

'http://burkinafaso.opendataforafrica.org/{item["id"]}/{item["title"]}'

意思是，在 json 响应对象的循环中，我们可以通过将基本字符串与当前项目 id 和当前项目 title 连接来生成最终链接。我们还可以从当前项目 name 中提取标题。我们可以使用 purrr 和 map_df 处理循环和最终数据帧生成，并使用 httr 进行 POST。

---

R:

library(httr)
library(purrr)

r <- content(POST("http://burkinafaso.opendataforafrica.org/api/1.0/meta/dataset"))

df <- map_df(r, function(item) {

  data.frame(title = item$name,
             url = paste0("http://burkinafaso.opendataforafrica.org/", item$id,'/',item$title),
             stringsAsFactors=FALSE)
})

View(df)

---

Py:

import requests
import pandas as pd

r = requests.post('http://burkinafaso.opendataforafrica.org/api/1.0/meta/dataset').json()
df = pd.DataFrame([(item['name'], f'http://burkinafaso.opendataforafrica.org/{item["id"]}/{item["title"]}') for item in r]
                  ,columns = ['Title','Url'])
print(df)