java - 有哪些好的 Java 库可以从网页中搜索和抓取数据。

Question

有哪些优秀的开源 Java 库可以从网页中搜索和抓取数据并将其存入数据库。例如，假设我有一个页面，例如:

<tr><td><b>Address:</b></td>
<td colspan=3>123 My Street        </td></tr>

“地址:”是关键，但我实际上是在尝试获取“123 My Street”，其中有一堆 html 标签和中间的空格。理想情况下，我想获取字符串“地址:”之后的 td 之间的值。似乎 JSoup 可以进行查找，但我没有看到有关如何进行偏移的好示例(我可能错过了)。是否有处理键/值的库？

我也有兴趣了解与 Kapow 提取浏览器类似的 UI 脚本的任何开源 (MIT/Apache) 计划。

谢谢。

Answer 1

尝试 Web-Harvest .它是用 Java 编写的开源爬虫。
它可以用作 Java 库、命令行应用程序或与其独立的 IDE 一起使用。

您可以使用 <xpath> 从 XHTML 文档中提取任何值的元素。