java - 特定 div 的页面抓取

Question

我想知道是否有一种方法可以使用 Java 读取给定网页的 html 输出？

我知道在 php 中你可以做类似的事情:

$handle = @fopen("'http://www.google.com", "r");
$source_code = fread($handle,9000);

我正在寻找 Java 等效项。

此外，一旦我有了渲染的 html，是否有任何 Java 实用程序可以让我通过 id 删除单个 div？

感谢您对此提供的任何帮助。

Answer 1

使用jsoup .

您可以选择树模型和类似于 CSS 或 jQuery 选择器的强大查询语法，以及快速获取网页源的实用方法。

引用他们的网站:

Fetch the Wikipedia homepage, parse it to a DOM, and select the headlines from the In the news section into a list of Elements:

Document doc = Jsoup.connect("http://en.wikipedia.org/").get();
Elements newsHeadlines = doc.select("#mp-itn b a");

找到代表要删除的 div 的 Element 后，只需调用 remove()就在上面。