gpt4 book ai didi

hadoop - Hadoop 2.x 中的 Nutch

转载 作者:可可西里 更新时间:2023-11-01 15:06:21 24 4
gpt4 key购买 nike

我有一个运行 Hadoop 2.2.0 和 HBase 0.98.1 的三节点集群,我需要在其上使用 Nutch 2.2.1 爬虫。但它只支持 1.x 分支的 Hadoop 版本。到现在为止,我可以向我的集群提交 Nutch 作业,但它因 java.lang.NumberFormatException 而失败。所以我的问题很简单:如何让 Nutch 在我的环境中工作?

最佳答案

目前无法将 Nutch 2.2.1 (Gora 0.3) 与 HBase 0.98.x 集成。请参阅:https://issues.apache.org/jira/browse/GORA-304

Nutch官方教程仅推荐0.90.x HBase分支: http://wiki.apache.org/nutch/Nutch2Tutorial

您也可以下载我今天创建并测试的 HBase 0.94.24-hadoop-2.5.0 版本: https://github.com/dobromyslov/hbase/releases/tag/0.94.24-hadoop-2.5.0

请注意 Nutch 2.2.1 不支持 HBase 0.94.x,您必须从 Git 分支获取最新的 Nutch 2.x:https://github.com/apache/nutch/tree/2.x

关于hadoop - Hadoop 2.x 中的 Nutch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23436168/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com