ruby-on-rails - Ruby 中的 Web 抓取 Mechanize 为浏览器生成不同的 html

Question

我对 Ruby 和 Mechanize 比较陌生，但我在使用 asp 网站时遇到了一些困难

URL: http://www.adecco.co.uk/careercentre/job-search-results.aspx?kws=&pstc=&cty=&prvnm=&pdx=1


agent = Mechanize.new
page = agent.get('http://www.adecco.co.uk/careercentre/job-search-results.aspx?kws=&pstc=&cty=&prvnm=&pdx=1')
puts page.body

我正在研究 Mechanize 网站上的示例，问题是我通过 Mechanize 返回的 HTML 与我在浏览器中使用查看源代码获得的 HTML 非常不同，我需要完成的 HTML 吗？

更新

我不太确定在这里做什么，因为问题实际上是页面随后使用 jquery 呈现内容，所以我最终使用 Selenium 获取具有正确 html 的页面，这些都不是答案实际上是错误的，所以我都投了赞成票，但都没有真正解决问题？

谢谢

马克

Answer 1

试试下面的代码，

require 'mechanize'
require 'nokogiri'

agent = Mechanize.new
page = agent.get('http://www.adecco.co.uk/careercentre/job-search-results.aspx?kws=&pstc=&cty=&prvnm=&pdx=1')

document = Nokogiri::HTML(page.content)
puts document