html - 为什么我无法到达这个 div？

Question

我正在使用 Nokogiri 来解析此页面:http://financials.morningstar.com/income-statement/is.html?t=GE&region=USA&culture=en-us

当我检查要捕获的元素时，我发现它在 <div> 中与 id="data_i84" .

但是，我得到这个:

irb> doc.css("#data_i84")
=> []

当我“查看页面源代码”并搜索“data_i84”时，它没有出现。

我在这里遗漏了什么吗？我认为这很简单。

Answer 1

抓取 Ajax 数据只是找到正确的 URL，然后找出解析响应的正确方法的问题:

require 'nokogiri'
require 'open-uri'
require 'json'

# you can find the ajax url in your browser's network tab, or use a debugging proxy like charles or fiddler
ajax_url = 'http://financials.morningstar.com/ajax/ReportProcess4HtmlAjax.html?&t=GE&region=usa&culture=en-US&cur=USD&reportType=is&period=12&dataType=A&order=asc&columnYear=5&rounding=3&view=raw&r=356282&callback=jsonp1371870522408&_=1371870527498'
response = open(ajax_url).read

# here's how you parse jsonp data
json = JSON.parse response[/{.*}/]

# the html is in a field called result
doc = Nokogiri::HTML json['result']

doc.css("#data_i84") # now you should see it.