web-scraping - 单击输入标签，而不是表单

Question

我正在使用 mechanize刮几页。分页是通过一个javascript帖子实现的，分页链接其实是input纽扣。这些不包括在表格中。知道如何触发点击这些吗？

我仍在编写脚本，可以使用 mechanize-ruby或 mechanize-python .任何一种解决方案都会有所帮助。

按钮的 html 是:

<input name="px" value="1" class="pSel" disabled="true\" type="button">
<input name="px" value="2" class="page_select" onclick="apply_pagination(this);" type="button">
<input name="px" value="3" class="page_select" onclick="apply_pagination(this);" type="button">
...
<input name="px" value="10" class="page_select" onclick="apply_pagination(this);" type="button">

Answer 1

使用 mechanize-ruby，您可以通过以下方式找出 POST 参数:

看 apply_pagination javascript 方法并找出它回发到 Web 服务器的内容。

单击浏览器上的链接之一并使用 [HTTPFox] (https://addons.mozilla.org/en-us/firefox/addon/httpfox/) 之类的内容监视 POST 请求。

有了它，您可以轻松地复制 Web 服务器对用户代理的期望，并做一些接近于此的事情；

next_page = agent.post("http://example.com/", { "foo" => "bar" })