gpt4 book ai didi

java - Crawler4j vs. Jsoup Java 页面爬取解析

转载 作者:塔克拉玛干 更新时间:2023-11-03 03:05:21 33 4
gpt4 key购买 nike

我想获取页面的内容并提取其中的特定部分。据我所知,此类任务至少有两种解决方案:Crawler4jJsoup .

它们都能够检索页面内容并提取其中的子部分。我唯一不确定的是,它们之间有什么区别?有一个similar question ,标记为已回答:

Crawler4j is a crawler, Jsoup is a parser.

不过我查了下,Jsoup除了解析功能,还可以抓取页面,而Crawler4j不仅可以抓取页面,还可以解析页面内容。

Crawler4j和Jsoup有什么区别?

最佳答案

抓取不仅仅是检索单个 URI 的内容。如果您只想检索某些页面的内容,那么使用 Crawler4J 之类的东西并没有真正的好处。

让我们来看一个例子。假设您要抓取一个网站。要求是:

  1. 给出基本 URI(主页)
  2. 从每个页面获取所有 URI,并检索其中的内容。
  3. 针对您检索到的每个 URI 递归移动。
  4. 仅检索本网站内部 URI 的内容(可能有引用其他网站的外部 URI,我们不需要这些)。
  5. 避免循环抓取。页面 A 具有页面 B(同一站点)的 URI。页面 B 具有页面 A 的 URI,但我们已经检索到页面 A 的内容(关于 页面具有指向 主页 页面的链接,但我们已经获取了页面 A 的内容Home 页面,所以不要再次访问它)。
  6. 爬取操作必须是多线程的
  7. 网站很大。它包含很多页面。我们只想检索从 Home 页面开始的 50 个 URI。

这是一个简单的场景。尝试用 Jsoup 解决这个问题。所有这些功能都必须由您来实现。 Crawler4J 或与此相关的任何爬虫微框架,将或应该具有上述操作的实现。当您决定如何处理内容时,Jsoup 的强大品质就会闪耀。

让我们看一下解析的一些要求。

  1. 获取页面的所有段落
  2. 获取所有图片
  3. 删除无效标签(不符合 HTML 规范的标签)
  4. 删除脚本标签

这就是 Jsoup 发挥作用的地方。当然,这里有一些重叠。 Crawler4JJsoup 可能有一些事情是可能的,但这并不能使它们等同。您可以删除从 Jsoup 中检索内容的机制,并且仍然是一个很棒的工具。如果 Crawler4J 删除检索,那么它将失去一半的功能。

我在现实生活场景中的同一个项目中使用了它们。我利用Crawler4J的优势爬取了一个站点,解决了第一个例子中提到的所有问题。然后我将检索到的每个页面的内容传递给 Jsoup,以便提取我需要的信息。我可以不使用其中之一吗?是的,我可以,但我将不得不实现所有缺失的功能。

因此不同,Crawler4J 是一个爬虫,有一些简单的解析操作(你可以在一行中提取图像),但没有实现复杂的 CSS查询。 Jsoup 是一个解析器,可为您提供用于 HTTP 请求的简单 API。对于任何更复杂的事情,都没有实现。

关于java - Crawler4j vs. Jsoup Java 页面爬取解析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34888510/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com