java - jsoup 图像没有被解析

Question

我正在使用 jsoup 从以下网页检索图像{ http://www.jcpenney.com/dotcom/jewelry-watches/fine-jewelry/mens-jewelry/bulova%25c2%25ae-mens-stainless-steel-watch/prod.jump?ppId=180d97e&catId=cat100240089&selectedLotId=0514592&selectedSKUId=05145920000&navState=navState-:catId-cat100240089:subcatId-:subcatZone-false:N-100240089%20158:Ns-:Nao-0:ps-24:pn-1:Ntt-:Nf-:action-guided%20navigation&catId=SearchResults}我的代码是

String url = "http://www.jcpenney.com/dotcom/jewelry-watches/fine-jewelry/mens-jewelry/bulova%25c2%25ae-mens-stainless-steel-watch/prod.jump?ppId=180d97e&catId=cat100240089&selectedLotId=0514592&selectedSKUId=05145920000&navState=navState-:catId-cat100240089:subcatId-:subcatZone-false:N-100240089%20158:Ns-:Nao-0:ps-24:pn-1:Ntt-:Nf-:action-guided%20navigation&catId=SearchResults";


           Document doc= Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2").get();


          String imgUrl=doc.select("#mapImageSjElement4 img").attr("abs:src"); 

它应该返回我的图像网址，但我没有得到图像网址。有什么建议吗？？？？我想检索网页左侧的主要产品图像。

Answer 1

如果您打印整个文档，您将看到该图像以及网站中的更多内容是通过分散在整个页面上的 JavaScript 脚本加载的。为了获得该图像，您必须在 2 个选项之间进行选择:

1. 使用无 GUI 的 Web 浏览器，例如 Selenium、Webdriver、HTTPClient；页面完全加载后，获取其 html 内容
2. 通过研究 JavaScript 代码来模拟 JavaScript，并检索您想要的数据

这将是使用我提到的第二种方法的一种方法，而无需向您的项目添加任何额外的库:

//Let's say you have the right script in a String
//variable named javascript.
String[] html = javascript.split("\n");

String imgUrl = "";
for(String line : html) {
    if (line.contains("imgUrl variable name here")) {
        imgUrl = line;
        break;
    }
}

//Now that you have what you want in a variable
//just split / substring it, untill you narrowed
//it down to what you want.