hadoop - Datanode 没有连接到 Namenode cloudera

Question

我想通过 Talend 从远程机器访问 cloudera 以获取大数据。为此，我通过编辑文件/etc/hosts 和/etc/sysconfig/network 更改了 cloudera 中主机的 ip。我可以从 Talend 访问 cloudera。但是问题是我的数据节点和名称节点似乎没有连接。当我检查我的 Datanode 的日志详细信息时，出现以下错误:

Block pool BP-1183376682-127.0.0.1-1433878467265 (Datanode Uuid null) service to quickstart.cloudera/127.0.0.1:8022 beginning handshake with NN

block 池 BP-1183376682-127.0.0.1-1433878467265(Datanode Uuid null)服务初始化失败到 quickstart.cloudera/127.0.0.1:8022 Datanode 拒绝与 namenode 通信，因为主机不在 include-列表:DatanodeRegistration(127.0.0.1，datanodeUuid=5802ab81-2c28-4beb-b155-cac31567d23a，infoPort=50075，ipcPort=50020，storageInfo=lv=-56；cid=CID-83500942-6c65-4ecd-a0c2-a448be86bc；nsidbc =975591446;c=0)

数据节点仍然使用错误的 ip 地址 ( 127.0.0.1 ) 即使我通过新的 ip 地址编辑以前的 ip 地址在 core-site.xml，hdfs-site.xml 和 mapred-site.xml 中进行了修改.

我按照本教程中给出的步骤进行操作: https://www.youtube.com/watch?v=fSGpYHjGIRY

我该如何解决这个错误？

Answer 1

在 Debian 8 上，/etc/hosts 将包含 127.0.1.1 的条目以及您在 Linux 安装期间提供的主机名。 Cloudera 会将此 IP 地址用于其某些服务。

常规的 HDFS 将包含多个具有不同主机名/IP 地址的服务器，并将这些 IP 列为允许的。正如您的日志所说，流量源自 127.0.0.1，这不是您主机名的 IP 地址。

对于 Cloudera 单服务器设置，我发现的唯一方法是进行初始设置，/etc/hosts 中没有 127.0.1.1 条目。