java - Hadoop Datanode 在错误的界面上启动

Question

我们为 hadoop 集群使用了 2 个接口(interface)。私有(private) eth-1 和公共(public)。看起来当 hadoop datanode 启动时，它选择公共(public) IP 地址而不是私有(private) IP 地址。当我查看 hadoop-cmf-hdfs-DATANODE-hostname.log.out 时，它出现了

STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = hostname.public.net/208.x.x.x

应该在哪里说

STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = hostname-eth1.private.net/192.168.x.x

Answer 1

在hdfs-site.xml中有一个设置，可以控制接口(interface)，数据节点使用它作为它的IP地址。

dfs.datanode.dns.interface = 数据节点应报告其 IP 地址的网络接口(interface)的名称。

这被设置为“默认”。如果要使用 eth1，则在 hdfs-site.xml 中将此属性设置为:

<property>
    <name>dfs.datanode.dns.interface</name>
    <value>eth1</value>
  </property>

引自《Hadoop权威指南》一书:

还有一个设置用于控制数据节点将哪些网络接口(interface)用作其 IP 地址(用于 HTTP 和 RPC 服务器)。相关属性(property)是
dfs.datanode.dns.interface，设置为default使用默认网络
界面。您可以明确设置它以报告特定接口(interface)(例如 eth0)的地址。