gpt4 book ai didi

java - 学习多线程Java爬虫的好起点

转载 作者:行者123 更新时间:2023-12-02 07:51:28 25 4
gpt4 key购买 nike

我正在用 Java 开发一个网络爬虫。我正在寻找一个好的项目来基于它开发这个爬虫。然而,实际上有超过几百个用 Java 编写的爬虫。我正在寻找的是一个相当简单的爬虫,它具有:

  • 多线程功能
  • 表现良好
  • 基于最新的 Java 版本和新技术实现
  • 良好的文档
  • 没有太多不必要的功能(膨胀)
  • 能够轻松集成到我的项目中

最佳答案

What I'm looking for, is a fairly simple crawler...

你不会真的发现这一点,爬虫一点也不简单!案例和要点,拥有这些功能(尤其是最后一个要点)并不简单:

  • 多线程功能
  • 表现良好
  • 基于最新的 Java 版本和新技术实现
  • 良好的文档
  • 没有太多不必要的功能(膨胀)
  • 能够轻松集成到我的项目中

Nutch 是一款功能齐全的 Java 爬虫,可以满足您的大部分要求:http://nutch.apache.org/

此外,我建议您查看这个问题:https://stackoverflow.com/questions/2495289/what-is-a-good-java-web-crawler-library

关于java - 学习多线程Java爬虫的好起点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10180813/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com