javascript - 可以解释JavaScript的网络爬虫

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 7 年前。

Improve this question

我想编写一个可以解释JavaScript的网络爬虫。基本上它是一个 Java 或 PHP 程序，将 URL 作为输入并输出 DOM 树，类似于 Firebug HTML 窗口中的输出。最好的例子是 Kayak.com，当您“查看源代码”时，您无法看到浏览器上显示的结果 DOM，但可以通过 Firebug 保存结果 HTML。

我该如何去做呢？有哪些工具可以帮助我？

Answer 1

Ruby 的 Capybara是一个集成测试库，但它也可用于编写独立的网络爬虫。鉴于它使用 Selenium 或 headless WebKit 等后端，它可以开箱即用地解释 javascript:

require 'capybara/dsl'
require 'capybara-webkit'

include Capybara::DSL
Capybara.current_driver = :webkit
Capybara.app_host = "http://www.google.com"
page.visit("/")
puts(page.html)