android - Jsoup - 缺少内容

Question

我正在使用 JSoup 执行以下代码

Document parse = Jsoup.connect("http://www.google.com/movies?near=<MyCity>&sort=1&start=0")
                       .followRedirects(true)
                       .ignoreContentType(true)
                       .timeout(12000)
                       .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                       .referrer("http://www.google.com")
                       .execute()
                       .parse();
Elements elements = parse.select(".movie_results .movie");

但是当我检查 elements 时，它显然遗漏了很多内容。我正在尝试从上面的页面获取电影标题和描述。

我错过了什么？这可能与缺少 header 参数、cookie 有关吗？有没有其他库可以解决这个问题？

我可以通过执行重现同样的问题:

curl http://www.google.com/movies?near=<MyCity>&sort=1&start=0 > page.html

专业提示

只是突出显示其中一条评论:try.jsoup.org是开始使用 Jsoup 的好地方。它可以帮助您以非常干净的方式解析 html。

如果您喜欢这个提示并挽救了您的一天，请+1 :D

Answer 1

在使用 Google Chrome Dev Tools 进行一些调查后，我发现缺少一些 header 信息。最终代码与此类似:

Jsoup.connect(url)
  .followRedirects(true)
  .ignoreContentType(true)
  .timeout(12000) // optional
  .header("Accept-Language", "pt-BR,pt;q=0.8") // missing
  .header("Accept-Encoding", "gzip,deflate,sdch") // missing
  .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.107 Safari/537.36") // missing
  .referrer("http://www.google.com") // optional
  .execute()
  .parse(); 

感谢您的回答!