CentOS上的Hadoop伪分布式配置

Question

我能够在独立机器上配置 hadoop，现在尝试运行伪分布式 hadoop 配置我已经按照 this link 完成了配置.

1. 我能够格式化名称节点
2. 但是当我执行 bin/start-all.sh 命令时，节点没有正确启动。
3. 当我查看日志文件时，我发现了以下错误。

namenode-hadoop2.log

java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be
replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)

jobtracker-hadoop2.log

2013-05-10 11:36:09,959 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

1. 我执行以下命令:

   bin/hadoop fs -put conf 输入

13/05/10 11:42:19 ERROR hdfs.DFSClient: Exception closing file /user/root/input/mapred-site.xml : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/mapred-site.xml could only be replicated to 0 nodes, instead of 1

请告诉我除this link以外的任何其他配置.

谢谢。

Answer 1

这个错误意味着你的数据节点有问题。确保它正在运行并且能够与名称节点通信。还要确保数据节点的磁盘上有足够的剩余空间。检查 DN 的保留空间(在 dfs.datanode.du.reserved 中设置)是否大于剩余可用空间。由于权限原因，您也可能会收到此消息，例如，如果 JT 无法在启动时创建 jobtracker.info。

您可能会发现这个 link有用。我试图展示设置伪分布式集群的完整过程。看看是否有帮助。