gpt4 book ai didi

hadoop - 如何在伪分布式安装的Hadoop中运行Nutch

转载 作者:可可西里 更新时间:2023-11-01 16:37:58 25 4
gpt4 key购买 nike

我在我的 Ubuntu 上安装了 Nutch 1.13。我可以在独立模式下运行爬网。它成功运行并产生了预期的结果,但我现在不知道如何在 hadoop 中运行它?我在伪分布式模式下安装了 Hadoop,我想使用 Hadoop 运行 Nutch 爬网并监控它。我该怎么做?有很多关于在独立模式下运行它的教程,但我找不到任何关于如何在 Hadoop 中运行它的明确说明,除了我必须在用 ant 构建它之后使用“Nutch Job”。

感谢您的帮助。

最佳答案

确保您已经从源代码构建了 Nutch,即不要使用只能在本地模式下工作的二进制版本。一旦你用

编译

ant clean runtime

转到 runtime/deploy/bin 并照常运行脚本。

注意,您需要在重新编译之前修改 conf 文件。

关于hadoop - 如何在伪分布式安装的Hadoop中运行Nutch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47939958/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com