linux - 我可以在没有监视器的情况下使用 Watir 从 Linux 服务器上的网站抓取数据吗？

Question

我可以使用 Watir 从网站(使用 AJAX)抓取数据但在没有监视器的 linux 服务器上吗？ (linode.com)？

Answer 1

有几种方法可以做到这一点:

1. 使用 HtmlUnit , Celerity或 watir-webdriver (通过 remote Selenium2/WebDriver server )。

2. 使用真实浏览器 + 虚拟 X 服务器 (Xvfb)。我建议使用 watir-webdriver的 Firefox 驱动程序和 Headless gem 提供了一种从 Ruby 控制它的简单方法。

这基本上是速度和现实主义之间的权衡。如果网站有任何复杂的 JavaScript 或无效的 HTML，我个人会选择 #2，但这两种方法都值得研究。

future ，我会关注this project ，这看起来是个好主意。