hadoop - 在hadoop上探索坚果

Question

将Hadoop和Nutch用作搜索引擎，我该怎么办？我知道，nutch用于构建网络爬虫。但是我找不到完美的画面。我可以结合使用mapreduce和做一些mapreduce工作吗？任何想法都欢迎。很少有链接将不胜感激。谢谢。

Answer 1

如果只想执行Map / Reduce作业，则不需要Nutch，而仅需要Hadoop。 Hadoop为您带来了一个集群文件系统和一个调度程序，用于文件系统上的映射/减少作业。

随着Nutch建立在Hadoop之上，您可以在Nutch数据上创建自己的map / reduce作业，只要您了解数据结构和爬虫在做什么。

但是，如果您只想运行一些map / reduce作业，则只需安装hadoop即可。