hadoop - Hadoop TaskTracker问题

Question

这是一个奇怪的问题。当我的便携式计算机断电并自行关闭时，我正在运行MR作业(单节点)。由于ubuntu 10.04中缺少“没有电池”警告

当我再次启动并尝试启动hadoop(单节点)时，一切顺利，当我从命令行发布“jps”时，将列出所有主进程和从属进程。我也尝试发行“netstat -plten | grep java”。

从命令行输出:

hduser @ fox:〜$ jps
10476数据节点
1819年
10696 JobTracker
10813 TaskTracker
11741 Jps
10605 SecondaryNameNode
10360 NameNode

hduser @ fox:〜$ sudo netstat -plten | grep Java
tcp 0 0 0.0.0.0:55376 0.0.0.0:* LISTEN 1000 141925 10476 / java
tcp 0 0 0.0.0.0:42352 0.0.0.0:* LISTEN 1000 141790 10360 / java
tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 142727 10360 / java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1000 142818 10476 / java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1000 143308 10476 / java
tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1000 146358 10476 / java
tcp 0 0 127.0.0.1:38533 0.0.0.0:* LISTEN 1000 143217 10813 / java
tcp 0 0 102.173.156.27:54310 0.0.0.0:* LISTEN 1000 141913 10360 / java
tcp 0 0 102.173.156.27:54311 0.0.0.0:* LISTEN 1000 142359 10696 / java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1000 142827 10605 / java
tcp 0 0 0.0.0.0:56779 0.0.0.0:* LISTEN 1000 142191 10605 / java
tcp 0 0 0.0.0.0:55373 0.0.0.0:* LISTEN 1000 142251 10696 / java
tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1000 142921 10696 / java

我检查了作业跟踪器日志文件:

2013-01-09 16:40:52,286 WARN org.apache.hadoop.hdfs.DFSClient:错误恢复块null坏datanode [0]节点== null
2013-01-09 16:40:52,286警告org.apache.hadoop.hdfs.DFSClient:无法获取阻止位置。源文件“/home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info”-正在终止...
2013-01-09 16:40:52,286警告org.apache.hadoop.mapred.JobTracker:写入文件hdfs:// master:54310 / home / hduser / hadoop / tmpnew / mapred / system / jobtracker.info失败!
2013-01-09 16:40:52,287警告org.apache.hadoop.mapred.JobTracker:文件系统尚未准备好!
2013-01-09 16:40:52,290警告org.apache.hadoop.mapred.JobTracker:无法初始化恢复管理器。
org.apache.hadoop.ipc.RemoteException:java.io.IOException:文件/home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info只能复制到0个节点，而不是1个
在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
在org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
在java.lang.reflect.Method.invoke(Method.java:597)
在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:563)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1388)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1384)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:396)
在
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:1382)
在org.apache.hadoop.ipc.Client.call(Client.java:1070)
在org.apache.hadoop.ipc.RPC $ Invoker.invoke(RPC.java:225)
在$ Proxy5.addBlock(未知来源)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
在java.lang.reflect.Method.invoke(Method.java:597)
在org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
在org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
在$ Proxy5.addBlock(未知来源)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.access $ 2600(DFSClient.java:2589)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream $ DataStreamer.run(DFSClient.java:2829)
2013-01-09 16:41:02,291警告org.apache.hadoop.mapred.JobTracker:重试...
2013-01-09 16:41:02,331警告org.apache.hadoop.hdfs.DFSClient:DataStreamer异常:org.apache.hadoop.ipc.RemoteException:java.io.IOException:文件/ home / hduser / hadoop / tmpnew / mapred / system / jobtracker.info只能复制到0个节点，而不是1个
在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
在org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
在java.lang.reflect.Method.invoke(Method.java:597)
在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:563)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1388)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1384)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:396)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:1382)

在org.apache.hadoop.ipc.Client.call(Client.java:1070)
在org.apache.hadoop.ipc.RPC $ Invoker.invoke(RPC.java:225)
在$ Proxy5.addBlock(未知来源)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
在java.lang.reflect.Method.invoke(Method.java:597)
在org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
在org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
在$ Proxy5.addBlock(未知来源)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream.access $ 2600(DFSClient.java:2589)
在org.apache.hadoop.hdfs.DFSClient $ DFSOutputStream $ DataStreamer.run(DFSClient.java:2829)

我无法使用URL查看tasktracker-master:50060

因此，我感到tasktracker无法正确启动。

帮助表示赞赏。

Answer 1

确保您的HDFS不在安全模式下。如果不是，请使用“bin / hadoop dfsadmin -safemode离开”来执行此操作。