web-crawler - Nutch vs Heritrix vs Stormcrawler vs MegaIndex vs Mixnode

Question

Closed. This question does not meet Stack Overflow guidelines 。它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 Stack Overflow 的 on-topic。

3年前关闭。



Improve this question




我们需要每两周抓取大量(约 15 亿)网页。速度，因此成本，对我们来说是一个重要因素，因为我们最初的尝试最终花费了我们超过 2 万美元。

有没有关于哪个爬虫在分布式环境中表现最好的数据？

最佳答案

我们只尝试过 nutch、stormcrawler 和 mixnode。我们最终使用 mixnode 在 5000 个域中抓取了大约 3 亿个页面。

我的 0.02 美元:mixnode 是更大规模爬行(也就是超过 100 万个网址)的更好选择。对于较小的爬网，这是一种矫枉过正，因为您必须解析生成的 warc 文件，如果您只处理几千页，则运行自己的脚本或使用开源替代品(如 nutch 或stormcrawler(甚至是scrapy))更容易.

Mixnode 现在是 an "alternative" to web crawling ，所以它与我的旧答案完全不同。

关于web-crawler - Nutch vs Heritrix vs Stormcrawler vs MegaIndex vs Mixnode，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46673751/

上一篇：ruby-on-rails - Rspec发布:create 'unknown keyword: '

下一篇：sql - 如何跨表找到多行的完美匹配？

相关文章：

java - 亚马逊网络爬虫获取span-Element

open-source - 网络蜘蛛与 Wget 的蜘蛛有何不同？

seo - 当被拒绝的页面(机器人)仍在 sitemap.xml 中时会发生什么？

java - 如何在 Windows 上的 eclipse 中运行 nutch 1.9？

java - 对于有关构建搜索引擎的学术项目，什么是基于 Java 的优秀爬虫？

java - Heritrix3.2.0可以爬ajax网站吗？

javascript - 找不到模块 'crawler'

web-crawler - nutch 配置在不指定深度的情况下抓取整个网站

solr - 运行 solr 索引时出错

indexing - 如何从 heritrix 爬网中排除除 text/html 之外的所有内容？

Answer 1

我们只尝试过 nutch、stormcrawler 和 mixnode。我们最终使用 mixnode 在 5000 个域中抓取了大约 3 亿个页面。

我的 0.02 美元:mixnode 是更大规模爬行(也就是超过 100 万个网址)的更好选择。对于较小的爬网，这是一种矫枉过正，因为您必须解析生成的 warc 文件，如果您只处理几千页，则运行自己的脚本或使用开源替代品(如 nutch 或stormcrawler(甚至是scrapy))更容易.

Mixnode 现在是 an "alternative" to web crawling ，所以它与我的旧答案完全不同。