java - Hadoop 伪分布式 java.net.ConnectException : Connection refused on virtual box

Question

我已经在运行在 virtualbox 上的 ubuntu 上安装了 hadoop。当我第一次安装 hadoop 时，我可以毫无问题地启动 hdfs 并创建目录。

但是在我重新启动虚拟机后，尝试在 hdfs 上运行 ls 命令时出现“ 连接被拒绝 ”错误。然后我根据 Hadoop cluster setup - java.net.ConnectException: Connection refused 在 sshd_config 中添加了“端口 9000”现在我得到“ ls:本地异常失败:com.google.protobuf.InvalidProtocolBufferException:协议(protocol)消息标签的线路类型无效。；主机详细信息:本地主机是:“hadoop/127.0.1.1”；目标主机是: "本地主机":9000; "

--------------etc/hadoop/core-site.xml -------------

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

--------------etc/hadoop/hdfs-site.xml------

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

Answer 1

行。我解决了。
我运行 jps 并发现 namenode 无法启动。然后，当我试图找出问题所在时，我一直在查看几乎没有有用信息的“hadoop-xxx-namenode-hadoop.out”。所以我查看了“ hadoop-xxx-namenode-hadoop.log ”，它清楚地显示了错误“ org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory/tmp/hadoop- xxx/dfs/name 状态不一致:存储目录不存在或不可访问。"

做了更多研究，我发现默认情况下 Hadoop 会将 namenode 和 datanode 文件放在系统临时目录中。当我重新启动时，目录被删除。所以我要做的是更改“hdfs-site.xml”并添加“ dfs.namenode.name.dir ”和“ dfs.namenode.data.dir ”属性。然后，当我尝试启动 hdfs 时，我得到“地址已在使用中”。我使用的端口是 9000，重新启动后它与“tcp 0 0 *:9000”绑定(bind)，所以我将 core-site.xml 中的“fs.defaultFS”更改为使用 9001。现在一切都可以开始了。

希望这能有所帮助。