python - 从从表单生成 csv 文件的网站抓取网页 (http ://njdep. rutgers.edu/continuous/data.php)

Question

我对从 http://njdep.rutgers.edu/continuous/data.php 中抓取数据集很感兴趣为了创建一个 Shiny 的应用程序，允许人们搜索该网站包含的数据。

在网站上填写表格后，它可以生成一个 .csv 文件。是否有办法找出从最早日期到最新状态的所有数据的存储位置并使用 R 包或 python 包提取它？

Answer 1

在浏览器中，您可以右键单击并检查页面。当你点击下载按钮时，你可以在网络选项卡中看到底层的rest api。它应该看起来像这样:

http://njdep.rutgers.edu/continuous/data/downloadData.php?affiliation=NJDEP+-+Marine+Water+Monitoring&project=-1&huc14=-1&county=-1&munis=-1&station_type=-1&station=-1&start_date=&end_date=&params=

如果您更改各种表单参数，您可以了解如何更改 url 以获取不同的数据变体。然后你可以使用像requests这样的包在python中获取数据。

import requests

url = 'your_modified_url'
res = requests.get(url)
res.raise_for_status()
data = res.content