javascript - 如何使用 Ruby 抓取由 Javascript 函数生成的数据？

Question

我正在尝试从最新日期(即表的第一行，this)中抓取数据 URL 链接。页。看起来表格的内容是由 JavaScript 函数生成的。

我尝试使用 Nokogiri 来获取它，但 Nokogiri 无法抓取 JavaScript。然后，我尝试仅使用 Nokogiri 获取脚本部分:

url = "http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data"
doc = Nokogiri::HTML(open(url))
js = doc.css("script").text
puts js

在输出中，我找到了我想要的表，其类名为 sgxTableGrid。但是，问题是 JavaScript 函数中没有关于数据 URL 链接的任何线索，并且所有内容都是动态生成的。

有人知道解决这个问题的更好方法吗？

Answer 1

查看该页面的 HTML，该表是由作为 JavaScript 请求结果接收到的 JSON 生成的。

您可以通过向后追踪页面的源代码来弄清楚发生了什么。如果您想在 JavaScript 之外检索 JSON，则需要以下一些内容，但实际上仍然需要做一些工作:

1. 从这段代码开始:

   require 'open-uri'
   require 'nokogiri'
   
   doc = Nokogiri::HTML(open('http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data'))
   scripts = doc.css('script').map(&:text)
   
   puts scripts.select{ |s| s['sgxTableGrid'] }
   

   查看编辑器中的文本输出。搜索sgxTableGrid。你会看到这样一行:

   var tableHeader =  "<table width='100%' class='sgxTableGrid'>"
   

   再往下看一点，你会发现:

   var totalRows = data.items.length - 1;
   

   data 来自被调用函数的参数，所以这就是我们开始的地方。

2. 获取包含函数名称的唯一部分loadGridns_并搜索它。每次找到它时，查找参数 data，然后查看 data 的定义位置。如果它被传递到该方法中，则搜索以查看调用它的内容。重复该过程，直到发现变量没有传递到函数中，此时您就会知道您正在使用创建它的方法。

3. 我发现自己处于一个以 loadGridDatans 开头的函数中，它是执行 xhrPost 调用以检索 URL 的 block 的一部分。该 URL 就是您要查找的目标，因此请获取包含函数的名称，然后循环遍历传入 URL 的调用，就像您在上面的步骤中所做的那样。

4. 搜索结果如下所示:

   var url = viewByDailyns_7_2AA4H0C090FIE0I1OH2JFH20K1_...
   

5. 此时您可以开始重建所需的 URL。打开 JavaScript 调试器(例如 Firebug)，并在该行上放置一个断点。重新加载页面，JavaScript 应在该行停止执行。单步执行或设置断点，并观察 url 变量的创建过程，直至其达到最终形式。此时，您可以在 OpenURI 中使用一些东西，它应该检索您想要的 JSON。

注意，它们的函数名称可能是动态生成的；我没有检查，因此尝试使用函数的全名可能会失败。

他们还可能会序列化日期时间戳或使用序列化的 session key 来使函数名称唯一/更不透明，这样做的原因有很多。

尽管拆开这些东西很痛苦，但这也是动态页面如何工作的一个很好的教训。