java - 无法使用Jsoup获取数据

Question

我是 Jsoup 的新手，正在学习它我想从 Imdb 站点/特定电影链接中提取评级，发现我可以从带有 class = star-box-details 的 div 中获取评级，因此我编写了以下代码:

public static void main(String [] args)
{
    try {
        Elements data;
        String userAgent = "ExampleBot 1.0 (+http://example.com/bot)";
        String url = "http://www.imdb.com/title/tt0114746/";
        data =  Jsoup.connect(url).userAgent(userAgent).get().select("div.star-box-details").select("[href]");
        System.out.println(data);
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

很奇怪的是，我没有得到任何数据，因为我能够使用几周前的数据来获取收视率数据。是的，带有 class = star-box-details 的 div 出现在页面/url 上。

Answer 1

该特定用户代理可能已被站点过滤，以防止返回内容。你可以使用

String userAgent = "Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6";