hadoop - 如果 hadoop 中的节点更改其 IP 地址会发生什么？

Question

由于网络条件的原因，我的 hadoop 集群不能正常工作。如果我改变整个网络，比如另一个路由器，从而改变 IP 地址怎么办？集群还能通过更新一些配置来工作吗？或者我必须把它拆掉重建一切？提前致谢

Answer 1

把ip地址改成配置就可以了，为什么不使用DNS呢？

好的，这不是一个好的答案，让我道歉并给出一个更好的答案。如果您需要更改正在运行的集群上的配置，您可以停用和调试数据节点。

关闭数据节点不是一个好主意。

数据节点退役

第一步是告诉 yarn 你要删除一些节点，然后你必须对节点管理器说同样的话。

我不知道您的系统是否配置为退役，如果是这样，您将 key yarn.resourcemanager.nodes.exclude-path 放入 yarn-site.xml 和 dfs.hosts.exclude 到 hdfs-site.xml

hdfs-site.xml

<property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property> 

yarn-site.xml

<property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property> 

打开文件 $YOUR_PATH/dfs.exclude 并添加您需要停止的节点的主机名/IP 地址。

执行

yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes 

检查数据节点是否正在停用检查 Web 界面。

数据节点调试

以与退役相同的方式工作

yarn-site.xml

<property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property> 

hdfs-site.xml

<property>
  <name>dfs.hosts</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property> 

打开文件 $YOUR_PATH/dfs.include 并添加您需要添加的节点的主机名/IP 地址。

yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes

稍等一下

 hdfs dfsadmin -report 

现在您添加的主机已进入列表。

如果您的配置缺少上述键，您需要在添加它们后停止/重新启动节点管理器和 yarn 。

使用这些过程，您可以安全地停止数据节点。