javascript - 使用 Ruby 爬取 Javascript 繁重的网站

Question

我想抓取一些严重依赖 Javascript 的网站，而我的 Mechanize 代理(我通常使用的代理)无法处理这些网站，因为它无法呈现 html。一个很好的例子是 this site .

有没有什么方法可以从 Ruby on Rails 应用程序中获取该站点的渲染 html 输出？

我正在使用 Ruby 2.0.0 和 Rails 4.0.1

Answer 1

您可以使用 Capybara去做吧。这是一个资源:

• > http://www.chrisle.me/2012/12/scraping-html5-sites-using-capybara-phantomjs/

或在 Google 中搜索“Capybara”抓取工具。

需要注意的一点是，性能会很糟糕。我已经建立了这样一个刮板，它几乎不值得。