web-crawler - 什么是好的 Web Crawler 工具

Question

关闭。这个问题是off-topic .它目前不接受答案。












想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。

8年前关闭。




Improve this question




我需要索引很多网页，有哪些好的网络爬虫工具？我更喜欢 .NET 可以与之交谈的东西，但这不是一个亮点。

我真正需要的是我可以提供一个站点 url 的东西，它会跟随每个链接并存储用于索引的内容。

Answer 1

HTTrack -- http://www.httrack.com/ -- 是一个非常好的网站复印机。效果很好。已经使用它很长时间了。

Nutch 是一个网络爬虫(爬虫就是你要找的那种程序)--http://lucene.apache.org/nutch/ -- 它使用一流的搜索实用程序 lucene。