个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我想填一个 web form并提交我的查询并下载结果数据。某些字段可以选择下拉菜单或输入搜索查询，部分也可以留空(如果所有部分都留空，则整个数据库都会下载)，点击“搜索和下载”按钮应该会启动下载文件。
这是我基于 this 尝试过的(选择物种“Salmo salar”的所有记录)题。我使用我的浏览器(Opera)“开发者工具”来检查页面元素并识别所有可能字段的名称:
library(httr)
url <- "https://nzffdms.niwa.co.nz/search"
fd <- list(
search_catchment_no_name = "",
search_river_lake = "",
search_sampling_locality = "",
search_fishing_method = "",
search_start_year = "",
search_end_year = "",
search_species = "Salmo salar", # species of interest
search_download_format = 1, # select csv file format
submit = "Search and Download"
)
POST(url, body = fd, encode = "form")
Response [https://nzffdms.niwa.co.nz/search]
Date: 2019-10-02 23:35
Status: 200
Content-Type: text/html; charset=utf-8
Size: 19.1 kB
<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; c...
<meta name="title" content="NZ Freshwater Fish Database...
<meta name="description" content="NIWA NZ Freshwater Fish...
<meta name="keywords" content="NIWA, NZ, Freshwater Fish" />
<meta name="language" content="en" />
<meta name="robots" content="index, follow />
...
Search and download按钮，在检查网页时，大多数字段如下所示:
# end year field
<input maxlength="4" class="form-control" type="text" name="search[end_year]" id="search_end_year">
search and download按钮元素没有
name或
id选项:
<input type="submit" value="Search and Download" class="btn btn-primary btn-md">
<input type="hidden" name="search[_csrf_token]" value="d1530f09c1ce8110b5163bd100cb0d67" id="search__csrf_token">
最佳答案
首先，检查 website 上的 robots.txt .已于 2019 年 10 月 3 日注释掉。
然后阅读 https://nzffdms.niwa.co.nz/terms 上的条款和条件和 https://www.niwa.co.nz/freshwater-and-estuaries/nzffd/user-guide/tips并确保您遵守条款和条件。
限制下面的请求也很重要。
检查所有条款和条件后，您可以使用以下代码查询您的数据:
library(httr)
library(xml2)
gr <- GET("https://nzffdms.niwa.co.nz/search")
doc <- read_html(content(gr, "text")) #doc <- read_html(gr) #this works as well
getTbl <- function(x) {
do.call(rbind, lapply(xml_find_all(doc, paste0(".//select[@name='search",x,"']/option")),
function(n) data.frame(NAME=xml_text(n), VALUE=xml_attr(n, "value"))))
}
fishing_method <- getTbl("[fishing_method]")
species <- getTbl("[species][]")
csrf_token <- xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value")
fd <- list(
"search[catchment_no_name]"="",
"search[river_lake]"="",
"search[sampling_locality]"="",
"search[fishing_method]"="",
"search[species][]"="",
"search[species][]"=68,
"search[start_year]"="",
"search[end_year]"="",
"search[download_format]"="1",
"search[_csrf_token]"=csrf_token
)
r <- POST("https://nzffdms.niwa.co.nz/doSearch", body=fd, encode="form")
read.csv(text=content(r, "text", encoding="UTF-8"))
card m y catchname catch locality time org map east north altitude penet fishmeth effort pass spcode abund number minl maxl nzreach
1 3964 1 1981 Waiau R 797.49 Lake Gunn NA niwa d41 2122400 5581200 477 225 ang NA NA salsal NA NA NA NA 15006671
2 3965 1 1981 Waiau R 797.49 Lake Fergus NA niwa d41 2123700 5584400 483 229 ang NA NA salsal NA NA NA NA 15006092
3 15975 1 2003 Waiau R 797.40 Excelsior Creek 1330 niwa d44 2095800 5495800 190 94 efp 80 1 salsal NA 2 102 105 15030686
4 50772 1 1940 Waiau R 797.49 Upukerora River NA unk d43 2098500 5519900 210 146 unk NA NA salsal NA NA NA NA 15020897
关于r - 填写网页表格，提交和下载结果，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58159645/
25
4
0
当我尝试通过我的 .exe 文件从 url 下载 .pdf 文件时出现以下错误。 The server committed a protocol violation. Section=Response
我是一家非营利组织的 G Suite 管理员，刚刚发现数据导出功能，这似乎是个人帐户的外卖。 导出文件已准备好，现在可以从 Google Cloud Platform Storage 中的存储桶下载。
导航 引言 总体思路 七牛云相关的配置文件 获取七牛云上传token 相关类定义 核心代码实现 获取七牛云图片下载链接 公开空
这不是后端编程问题。我只能修改标记或脚本(或文档本身)。我在这里问的原因是因为我对适当术语的所有搜索都不可避免地导致有关编程此功能的问题和解决方案。我不是试图通过编程来强制它；我必须找出此 PDF 行
您好，我已在 Google AdSense 中注册，我想使用适用于 iOS 的 SDK，但目前我找不到 SDK 下载链接。 我的申请已获批准。 任何人都知道如何下载这个sdk。 我使用这个链接来描述如
我需要为当前在 SourceForge 上的 github 项目提供二进制文件和文档。在那里，我可以为我需要的下载提供一个目录结构，因为我必须为大约 10 个不同的操作系统提供几个版本。 github
我从 Canvas 下载绘图时遇到问题。这是我的代码: function downloadCanvas(link, canvasId, filename) { link.href =
ASP.NET 项目 我将使用 Azure 进行存储。问题(要求): 在我的项目中，我让注册用户下载文件。但我不希望用户将此下载链接分享给未注册的人(例如:我给注册用户的下载链接只能在他们的计算机上下
我编写了一个servlet，用于检查http header ，但我不知道为什么当页面加载时，它会自动开始下载。 /* * To change this template, choose To
我正在尝试将下载添加到我的网络浏览器，但遇到的问题是获取您尝试下载的文件的名称。这是我的下载代码: engine.locationProperty().addListener(new ChangeLi
我正在尝试下载网站的 html: String encoding = "UTF-8"; HttpContext localContext = new BasicHttpContext();
我制作了一个带有“开始下载”按钮的框架，用于从网站下载 JAR。 问题是每当我点击开始下载按钮时，整个框架就会卡住，直到下载完成，然后就正常了。 我该如何解决这个问题？ 这是单击按钮时执行的代码 p
我得到这段代码来实现一些东西，它可以帮助我从给定的 URL 下载文件。 -(void)URLSession:(NSURLSession *)session downloadTask:(NSURLSes
我正在尝试创建一个 Controller 来使用流方法下载和上传文件，在我的例子中，所有文件都作为 Blob 保存在数据库中。我阅读了 Jboss Netty 的文档，但我认为这不是我的最佳解决方案。
下载并保存文件 let destination: DownloadRequest.DownloadFileDestination = { _, _ in // var fileURL = sel
使用 htaccess 我基本上试图禁止访问该页面，即 http://example.com , 但它仍然允许人们下载文件，如果他们有直接链接即 http://example.com/hi.zip .
我正在寻求将脚本与我的控制面板集成，并且由于我是新手脚本编写者而遇到问题。我想做的是用 1 个脚本下载一个文件并解压它。 示例: wget http://example.com/example.tar
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。 关闭 7 年前。
这个问题在这里已经有了答案: Top techniques to avoid 'data scraping' from a website database (14 个答案) 关闭 5 年前。 我有
这个问题在这里已经有了答案: Reading and parsing email from Gmail using C#, C++ or Python (6 个答案) 关闭 7 年前。 我只是想，是
我是一名优秀的程序员,十分优秀！