个人中心
文章发布
退出
作者热门文章
- iOS/Objective-C 元类和类别
- objective-c - -1001 错误，当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
26
4
我正在做一些网络抓取，项目几乎完成，除了我需要单击一个 javascript 链接，我不知道如何使用 Python 和 Mechanize 。
在其中一个页面上，出现了一个 javascript 链接列表，我想依次关注它们，抓取一些数据，然后重复。我知道 mechanize 不适用于 javascript 但有人知道解决方法吗？这是我用来隔离链接的代码:
for Auth in iterAuths:
Auth = str(Auth.contents[0]).strip()
br.find_link(text=Auth)
现在如果我做 br.follow_link(text=Auth) , 我得到一个错误 urllib2.URLError: <urlopen error unknown url type: javascript> .
如果我这样做 print br.click_link(text=Auth') , 它打印为 Request for javascript:SendThePage('5660')
我只需要通过 javascript 链接即可。谁能帮忙？
最佳答案
当我需要做类似的事情时，我会查看我试图访问的链接。
其中一些是使用 javascript 生成的静态链接。它们足够可预测/一致，以至于我可以事先手动生成一个列表。
其他只是构造带有参数的 URL。这些也可以事先进行分析并生成 python 端并作为请求传递而不是“单击此链接”。
如果您需要实际执行 javascript，您可以运行 PyV8 + Mechanize 混合体。我一直在玩这个，看起来很酷。 PyV8 将 Python 与 V8 Javascript 引擎连接起来，允许您创建 JS 环境并执行任意代码。它可以很好地在两种语言之间来回切换。
我没有任何示例代码，但是这 3 种解决方案中的一种适合您 :) 祝你好运!
关于javascript - 使用 mechanize 和 python 跟随 javascript 链接，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18809962/
26
4
0
我正在使用 mechanize python 登录网站 combochat2.us用户名 mask3和密码findnext ，但它显示了“没有找到 Mechanize 模块”之类的错误 import
我在我的 rails 应用程序中使用 gem mechanize 来抓取网页数据。 我这样使用它: agent = Mechanize.new document = agent.get("http:/
我正在学习机械。我正在尝试打开一个文本文件，您点击的链接显示 文本 (.prn)我遇到的一个问题是此页面上只有 1 个表单，并且该文件不在表单中。对我来说另一个问题是此页面上有几个文本文件，但它们都具
def return_with_soup(url): #uses mechanize to tell the browser we aren't a bot #and to retri
我正在开发一个项目，使用 python 和 Mechanize 。我有个问题 : Mechanize 返回的页面，有不是的 URLS Mechanize ，如果用户点击它，他们将通过链接 他们自己计算
问题: 解析网站时，有些字符会导致 Mechanize 无法正确解析。 提出的解决方案 解析来自网站的响应以删除这些字符 在 Mechanize 之前尝试解析它。 或者，在 Mechanize 解析网
有一个public class method将字段添加到 Mechanize 表单 我试过了.. #login_form.field.new('auth_login','Login') #login_
我有一些看起来像这样的东西: def self.foo agent = Mechanize.new form = agent.get("link/to/form/url") form.f
我在使用 Mechanize gem 时遇到问题，如何转换 Mechanize::文件 进入 Mechanize::页面 , 这是我的一段代码: **link** = page.link_with(:
我正在尝试抓取一个只能依靠类和元素层次结构来找到正确节点的站点。但是使用 Mechanize::Page#search 返回 Nokogiri::XML::Element，我不能用它来填写和提交表单等
我正在使用 mechanize 来抓取一些网页。 我需要知道什么是 Mechanize 限制？ Mechanize 不能做什么？ 它可以执行网页中嵌入的javascripts吗？ 我可以用它来调用 j
在 WWW::Mechanize 中使用表单方法 my @form = $mech->form_number(1); foreach my $sum_form ( @form ) {
找到以下 HTML 代码: 如何使用 Mechanize 单击没有 id 和 name 的提交按钮？ 最佳答案 我已经找到了此类场景的答案，代码如下: agent = Mechanize.new
这个问题不太可能对 future 的访客有帮助；它只与一个小的地理区域、一个特定的时刻或一个非常狭窄的情况相关，通常不适用于互联网的全局受众。如需帮助使这个问题更广泛地适用，visit the hel
我一直在尝试使用以下方法从终端运行 ruby 文件: ruby file_cleanse_auto.rb 但是我从 mechanize 得到一个错误: /Library/Ruby/Site/2.0
这是我拥有的代码: agent = Mechanize.new page = agent.get 'http://google.com' page.save 'google_index.htm' 我怎
for link in br.links(url_regex="inquiry-results.jsp"): cb[link.url] = link for page_link in cb.v
我有一个登录表单的页面。登录后有一些重定向。第一个看起来像这样: #"no-cache=\"set-cookie\"", "content-length"=>"114", "set-cookie"=>
我正在尝试使用基本身份验证访问 API。它适用于 HTTParty，但不适用于 2.7.6 Mechanize。 这是我尝试过的: agent = Mechanize.new agent.log =
我正在尝试使用 Ruby 的 Mechanize gem 提交表单。此表单有一组名为“KeywordType”的单选按钮。各个按钮的名称类似于 rdoAny、rdoAll 和 rdoPhrase。使用
我是一名优秀的程序员,十分优秀！