- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在创建一个网站抓取工具。有一个表格用来改变当前页面。
这是我为 POST 请求提交表单的方式,但它似乎一遍又一遍地获取相同的页面。
这里是一些示例代码:
pages = {
"total_pages" => 19,
"p1" => '1234/1456/78990/123324345/12143343214345/231432143/12432412/435435/',
"p2" => '1432424/123421421/345/435/6/65/5/34/3/2/21/1243',
..
..
..
}
idx = 1
p_count = pages["total_pages"]
#set up the HTTP request to change pages to get all the auction results
uri = URI.parse("http://somerandomwebsite.com?listings")
http = Net::HTTP.new(uri.host, uri.port)
req = Net::HTTP::Post.new(uri.request_uri)
p_count.times do
puts "On loop sequence: #{idx}"
pg_num = "p#{idx}"
pg_content = pages["#{pg_num}"]
req.set_form_data({"page" => "#{pg_num}", "#{pg_num}" => "#{pg_content}"})
response = http.request(req)
page = Nokogiri::HTML(response.body)
idx = idx + 1
end
看起来 page
永远不会改变。每次我希望确保正确的参数被传递时,有没有办法查看完整请求的样子?似乎几乎不可能确定有关 req
的任何内容。
最佳答案
调试 HTTP 的一个好方法是利用 http://httpbin.org :
require 'net/http'
uri = URI('http://httpbin.org/post')
res = Net::HTTP.post_form(uri, 'q' => 'ruby', 'max' => '50')
puts res.body
返回:
# >> {
# >> "args": {},
# >> "data": "",
# >> "files": {},
# >> "form": {
# >> "max": "50",
# >> "q": "ruby"
# >> },
# >> "headers": {
# >> "Accept": "*/*",
# >> "Accept-Encoding": "gzip;q=1.0,deflate;q=0.6,identity;q=0.3",
# >> "Content-Length": "13",
# >> "Content-Type": "application/x-www-form-urlencoded",
# >> "Host": "httpbin.org",
# >> "User-Agent": "Ruby"
# >> },
# >> "json": null,
# >> "origin": "216.69.191.1",
# >> "url": "http://httpbin.org/post"
# >> }
也就是说,我建议不要使用 Net::HTTP。 Ruby 有很多很棒的 HTTP 客户端,它们可以让您更轻松地编写代码。例如,这里使用 HTTPClient 也是一样的:
require 'httpclient'
clnt = HTTPClient.new
res = clnt.post('http://httpbin.org/post', 'q' => 'ruby', 'max' => '50')
puts res.body
# >> {
# >> "args": {},
# >> "data": "",
# >> "files": {},
# >> "form": {
# >> "max": "50",
# >> "q": "ruby"
# >> },
# >> "headers": {
# >> "Accept": "*/*",
# >> "Content-Length": "13",
# >> "Content-Type": "application/x-www-form-urlencoded",
# >> "Date": "Thu, 09 Feb 2017 20:03:57 GMT",
# >> "Host": "httpbin.org",
# >> "User-Agent": "HTTPClient/1.0 (2.8.3, ruby 2.4.0 (2016-12-24))"
# >> },
# >> "json": null,
# >> "origin": "216.69.191.1",
# >> "url": "http://httpbin.org/post"
# >> }
这是未经测试的代码,因为你没有告诉我们足够多,但这是我开始做你正在做的事情的地方:
require 'httpclient'
BASE_URL = 'http://somerandomwebsite.com?listings'
PAGES = [
'1234/1456/78990/123324345/12143343214345/231432143/12432412/435435/',
'1432424/123421421/345/435/6/65/5/34/3/2/21/1243',
]
clnt = HTTPClient.new
PAGES.each.with_index(1) do |page, idx|
puts "On loop sequence: #{idx}"
response = clnt.post(BASE_URL, 'page' => idx, idx => page)
doc = Nokogiri::HTML(response.body)
# ...
end
关于Ruby Net::HTTP::Post 提交表单,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42145320/
我在 mongodb 中的玩家和锦标赛之间存在多对多关系。 我希望能够一次将许多玩家添加到锦标赛中。如果没有 ajax,这很简单,但我们有一个包含数千名玩家的数据库,因此表单选择变得巨大。 我们想为此
这个问题已经有答案了: When should I use html's and when spring's in Spring MVC web app? (3 个回答) 已关闭 6 年前。 我正
我正在 C++ Builder XE4 上使用 VCL。 我有以下组件。 FormMain 具有 TButton *B_select; FormSelect(或DialogSelect)具有 TCom
如何在不影响表单控件的情况下更改表单的 alphablend? 德尔福XE7 最佳答案 此问题的一个解决方案是使用多设备应用程序(如果无法使用VCL)。 如果您需要保留透明的TForm,只需更改属性T
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
我正在尝试扩展 Django 注册以包含我自己的注册表单。原则上这是相当简单的。我只需要编写自己的表单( CustomRegistrationForm ),它是原始表单( RegistrationFo
我正在尝试为我的网站实现聊天功能。为了做到这一点,我遵循了以下教程:https://channels.readthedocs.io/en/latest/tutorial/ 然后我稍微更改了代码以实现它
有一个问题,我需要用一个 html 表单提交两个相互关联的模型表单。我知道如何提交两个单独的表格,但是在相关模型表格的情况下外键让我发疯。 问题是,第二个表单应该用外键填充字段到第一个表单的实例。 在
我正在创建一个工具,允许某人输入食谱,然后将其保存为 XML 文件,我已经创建了 XSD,但我想知道如何在我的网页上制作一个表单以允许用户输入他们的食谱并遵守模式。我一直在研究 Ajax 和 Jque
在 .net win 表单(如 asp.net web 表单)中是否有可用的验证控件? 因为很难为我的每个控件设置正确的条件,所以我的表单中也有很多重复的代码。 正确的做法是什么? 最佳答案 看看这个
我有一个简短的问题。我正在学习如何使用 javascript 制作注册表,发现此链接非常有用。 http://www.w3resource.com/javascript/form/javascript
我正在开发一个项目,该项目将使用循环将许多表单添加到 mysql 数据库中。在 javascript 部分中,我无法让 var i 在函数 updatesum() 中工作。有人可以帮我吗? 我试图避免
在我的应用程序上有一个包含 2 个字段和一个保存按钮的表单。 在我的 onClick 结束时我需要什么来将光标返回到第一个字段。 我有这个来清除它们 txtData.setText("
这个问题不太可能帮助任何 future 的访问者;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关,这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用,visit
<input type="text" name="textfield" onKeyPress="javascript:alert(event.
我正在构建的网站有一个登录表单,作为所有其他模板扩展的 base.html 模板的一部分;因此,我需要以某种方式处理每个页面上的登录/注销逻辑。 目前每个页面都在单独的 View 中加载,那么实现它的
我有一个表单类,看起来像.. #forms.py class ExampleForm(forms.Form): color = forms.CharField(max_length=25)
有没有办法在表单定义中给表单一个特殊的错误渲染函数?在 customizing-the-error-list-format 下的文档中它展示了如何为表单提供特殊的错误呈现函数,但似乎您必须在实例化表单
我正在处理由多个页面组成的表单,我想解决验证问题。 当我点击提交按钮时,当前页面上的所有字段都会在下方显示错误消息,但是如果我更改页面,那么我需要再次点击提交,因为这些字段未设置为已触摸。 如果我可以
是否可以附加到继承表单的 exclude 或 widgets 变量? 到目前为止,我有以下设置。 class AddPropertyForm(forms.ModelForm): num_mon
我是一名优秀的程序员,十分优秀!