JSoup UserAgent，如何设置呢？

Question

我正在尝试使用 JSoup 解析 facebook 的首页，但我总是获得移动设备的 HTML 代码，而不是普通浏览器的版本(在我的例子中是 Firefox 5.0)。

我将我的用户代理设置如下:

doc = Jsoup.connect(url)
      .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0) Gecko/20100101 Firefox/5.0")
      .get();

我做错了什么吗？

编辑:

我刚刚解析了http://whatsmyuseragent.com/看起来用户代理正在工作。现在让我更困惑的是为什么该网站 http://www.facebook.com/使用 JSoup 和我的浏览器时返回不同的版本。两者都使用相同的用户代理......

我现在也在其他一些网站上注意到了这种行为。如果您能向我解释问题是什么，我会非常高兴。

Answer 1

您也可以尝试设置引用 header :

doc = Jsoup.connect("https://www.facebook.com/")
      .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
      .referrer("http://www.google.com")
      .get();