javascript - 使用R自动读取用javascript编写的动态表的内容

Question

我正在使用来自印度尼西亚网站的数据，该网站包含一个使用(在我看来)javascript 动态生成(针对不同年份和省份)的表格。我尝试使用 R(使用 R Studio)自动化此操作。网站是http://dibi.bnpb.go.id ，该表格位于子网站“Arrow --> Tabel”上(我无法直接提供该页面的链接，因为它是动态生成的)

我已经搜索了该问题的 api，但没有找到。即使我点击该页面，链接也不会更新。我通常用于网页抓取的 XPath 不起作用。

非常感谢您的帮助!

Answer 1

页面执行 POST 请求，其中正文参数基于您在表中的选择。您将需要探索参数。我认为参数可能按下拉列表的顺序出现。下面是一个无需 selenium 即可检索 2018 年数据的示例。我用过fiddler手动进行选择时监控网络流量。

library(httr)
library(rvest)
library(magrittr)

body <- list('vth' = 2018
             ,'vbl'=''
             ,'vtg'=''
             ,'vpr'=''
             ,'vkb'=''
             ,'vjn'=1)
r <- POST("http://bnpb.cloud/dibi/tabel1b",body = body)

t <- content(r) %>% html_node('#tbl') %>% html_table(fill = T)