java - Jsoup:select(div[class=rslt prod]) 在不应该的时候返回 null

Question

我正在尝试从此页面中选择带有 class="rlts prod"的所有 div http://www.amazon.fr/s/field-keywords=samsung

Document doc = Jsoup.connect("http://www.amazon.fr/s/field-keywords=samsung").get();
Elements divProd = doc.select("div[class=rslt prod]");      
System.out.println("\nsize: "+divProd.size());

但它返回 0 而它不应该，知道为什么吗？

应该选择什么的例子:

<div id="result_4" class="rslt prod" name="B006O9QNHU">
[...]
</div>

Answer 1

您必须更改用户代理，否则您会得到一个与亚马逊不同的网站。

Document doc = Jsoup.connect("http://www.amazon.fr/s/field-keywords=samsung")
        .userAgent("Mozilla/17.0") // you can use any other user agent here
        .get();

for( Element element : doc.select("div[class=rslt prod]") )
{
    System.out.println(element);
    System.out.println("");
}

现在输出是一个列表

<div id="result_1" class="rslt prod" name="B007XOM6SU"> 
  ...
</div>

<div id="result_2" class="rslt prod" name="B006SXSF4Q"> 
  ...
</div>

...