python - 使用 Python 中的“导出”按钮下载/导出网站搜索结果

Question

所以我尝试使用 Python 从以下网站抓取数据(带有示例查询):https://par.nsf.gov/**search**/fulltext:NASA%20NOAA%20coral

但是，我意识到，如果我以某种方式以编程方式单击“将结果另存为“CSV””链接并使用该 CSV 数据，而不是抓取搜索结果，那么事情会更容易，因为这将使我免于陷入困境。导航搜索结果的所有页面。

我检查了 CSV 链接元素，发现它称为“exportSearch('csv') 函数。

通过在控制台中输入函数名称，我发现 CSV 链接只是将 window.location.href 设置为:https://par.nsf.gov/ 导出/格式:csv/全文:NASA%20NOAA%20coral 如果我在同一浏览器中点击该链接，将打开保存提示，并显示要保存的 csv。

当我想使用 python 复制这个过程时，我的问题就开始了。如果我尝试使用 Requests 库直接调用导出链接，则响应为空。

url = "https://par.nsf.gov/export/format:csv/fulltext:" + urllib.parse.quote("NASA NOAA coral")
print("URL: ", url)
response = requests.get(url)
print("Response: ", len(response.content)) 

有人可以告诉我我缺少什么吗？我不知道如何首先在网站服务器上建立搜索结果，然后使用 Python 访问并导出。

Answer 1

我相信下载 CSV 的链接位于此处:

https://par.nsf.gov/export/format:csv//term:your_search_term

your_search_term 已进行 URL 编码

在您的情况下，链接是:https://par.nsf.gov/export/format:csv//filter-results:F/term:NASA%20NOAA%20coral