gpt4 book ai didi

csv - 使用MapReduce将CSV批量加载到Hbase

转载 作者:行者123 更新时间:2023-12-02 21:35:19 26 4
gpt4 key购买 nike

我试图按照此链接中的指导将数据从CSV批量加载到HBASE表中:http://www.thecloudavenue.com/2013/04/bulk-loading-data-in-hbase.html

我已经创建了代码的JAR,并使用以下命令在终端中运行:

hadoop jar ~/hadoop/BLoad.jar anoop.BLDriver /input/path /op/path NBAFinal2010

但是在执行过程中,由于动物园管理员给出了以下错误,我陷入了困境:
15/09/23 22:29:45 INFO client.RpcRetryingCaller: Call exception, tries=10, retries=35, started=48674 ms ago, cancelled=false, msg=

进行35次尝试。
之后,我得到:
Wed Sep 23 22:28:57 IST 2015,       RpcRetryingCaller{globalStartTime=1443027536828, pause=100, retries=35}, org.apache.hadoop.hbase.MasterNotRunningException: 
com.google.protobuf.ServiceException: org.apache.hadoop.hbase.ipc.FailedServerException: This server is in the failed servers list: Anoop-PC/127.0.1.1:16000

也,
Wed Sep 23 22:37:48 IST 2015, RpcRetryingCaller{globalStartTime=1443027536828, pause=100, retries=35}, 
org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Lorg/apache/hadoop/net/SocketInputWrapper;

at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:147)
at org.apache.hadoop.hbase.client.HTable.executeMasterCallable(HTable.java:596)
at org.apache.hadoop.hbase.client.HTable.getTableDescriptor(HTable.java:572)
at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat.configureIncrementalLoad(HFileOutputFormat.java:91)
at anoop.hbase.BLDriver.run(BLDriver.java:60)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at anoop.hbase.BLDriver.main(BLDriver.java:32)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)

不知道发生了什么。请帮忙。
提前致谢!

最佳答案

该错误明确表明主服务器未运行。 Zookeeper介于HMaster和区域服务器之间。因此,问题似乎出在HMaster和Zookeeper之间。验证您的Hbase配置设置。一些链接以不同方式提供帮助和解决。不确定如何安装和配置Hbase。所以你可以在这里使用任何链接

link1
link2
link3
link4

关于csv - 使用MapReduce将CSV批量加载到Hbase,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32745572/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com