java - Hadoop MapReduce 作业在本地无法加载库并且在 OS X 上连接失败

Question

我正在尝试在 OS X Yosemite 上运行 hadoop。当我按照 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 的说明进行操作时，我配置了hadoop，启动了$sbin/start-dfs.sh，然后用jps查看得到了输出:

17237 DataNode
17324 SecondaryNameNode
17388 Jps

但是，当我尝试“bin/hdfs dfs -mkdir/user”时，hadoop 无法加载库(当我运行其他示例时也会发生同样的情况)，并显示连接失败:

$ bin/hdfs dfs -mkdir /user
15/01/05 03:19:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Call From *.local/192.*.*.* to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

Answer 1

看起来 namenode 没有运行。在 HDFS 中，namenode 充当主守护进程并处理来自 HDFS 客户端的所有请求。当您执行 start-dfs.sh 脚本时，Namenode 应该已经启动。启动hdfs服务前检查是否格式化过HDFS，如果没有格式化HDFS，使用如下命令格式化HDFS，使用命令stop-dfs.sh和start-dfs.sh停止并重新启动HDFS服务

hadoop namenode -format