java - 网络爬虫与 Html 解析器

Question

网络爬虫和解析器有什么区别？

在java中，有一些用于获取库的名称。例如，他们将nutch命名为爬虫，将jsoup命名为解析器。

Are they do the same purpose?

他们的工作完全相似吗？

谢谢

Answer 1

jsoup 库是一个用于处理实际 HTML 的 Java 库。它能够获取并使用 HTML。然而，它不是一般的网络爬虫，因为它一次只能获取一页(无需使用 jsoup 编写自定义程序 (=crawler)获取、提取并获取新网址)。

网络爬虫使用 HTML 解析器从先前获取的网站中提取 URL，并将这个新发现的 URL 添加到其前沿。

网络爬虫的一般序列图可以在这个答案中找到:What sequence of steps does crawler4j follow to fetch data?

总结一下:

HTML 解析器是网络爬虫的必要组件，用于从给定的 HTML 输入中解析和提取 URL。然而，单独的 HTML 解析器不是网络爬虫，因为它缺乏一些必要的功能，例如维护以前访问过的 URL、礼貌等。