java - 带插件的 Jsoup

Question

我正在使用 Jsoup 从不同的商店抓取一些在线数据，但我无法弄清楚如何以编程方式复制我作为用户所做的事情。要手动获取数据(登录后)，用户必须从 a tree 中选择一家商店。弹出。

据我所知，这棵树并没有硬编码到站点中，而是在您的计算机与服务器交互时以交互方式构建的。当您在“查看页面源代码”中查找该表时，没有任何条目。当我inspect the tree ，我确实看到了 HTML，它似乎来自“FancyTree”插件。

根据我在 Developer Tools -- Network 上跟踪我的 Activity 可以看出，下一步是一个“GET”请求，它不会更改 URL，所以我不确定我的商店选择是如何转移的.

关于如何让 Jsoup 或 Java 通常以编程方式与此表交互的任何建议都将非常有帮助，谢谢!

Answer 1

Jsoup只能解析原始源文件，不能解析DOM。为了解析 DOM，您需要使用类似 HtmlUnit 的内容来呈现页面。 .然后就可以用Jsoup解析html内容了。

// load page using HTML Unit and fire scripts
WebClient webClient = new WebClient();
HtmlPage myPage = webClient.getPage(myURL);

// convert page to generated HTML and convert to document
doc = Jsoup.parse(myPage.asXml());

// do something with html content
System.out.println(doc.html());

// clean up resources        
webClient.close();

参见 Parsing Javascript Generated Page with Jsoup .