jquery - 屏幕抓取完全呈现的页面

Question

我正在尝试找出如何捕获完全呈现的页面并对其进行操作。我一直在使用 Nokogiri、Hpricot、Mechanize 等，但没有一个可以在事后捕获其元素由 AJAX 或其他东西呈现的页面。

一个例子是 Twitter 的状态页面，这是我在这个项目中遇到的许多问题之一:

http://twitter.com/#!/nytimes/status/42341419062525952

或

http://twitter.com/#!/alleyinsider/status/42337897038364672

如果您查看 HTML 源代码，它主要是稍后呈现的 javascript。在 Firebug 或其他控制台中检查它，您会看到完全呈现的结果，但我不知道如何使用上述工具捕获它。我错过了什么吗？

顺便说一句:是的，我知道有一个 Twitter API。但这更多是一个理论问题，因为我在其他几个网站上不同程度地遇到过这个问题。

谢谢!

Answer 1

...none can capture a page whose elements are rendered by AJAX or something else after the fact.

没错。您查找的内容在捕获时不存在于文档中，它是浏览器处理 JavaScript 的结果插入的，它通过 AJAX 请求内容并将其插入页面。

因此，要到达您想去的地方，您需要一个 JavaScript 解释器或一个受代码控制的浏览器。

Watir项目有能力做到这一点。这就像 Mechanize 上面的下一步，除了它不是 Ruby 代码，而是一个浏览器，它被你的 Ruby 代码告知要做什么。因此，浏览器应该能够加载页面、处理 JavaScript，然后提取您要查找的内容。

有variations on Watir适用于不同的浏览器，因此您可以使用 IE、Safari、Firefox 等。