hadoop - 删除 Hadoop 的一个节点，它也是 NameNode

Question

我最近创建了一个包含五台服务器的集群:掌握节点01节点02节点03节点04

为了拥有更多“ worker ”，我将 Nademode 添加到/etc/hadoop/slaves 中的奴隶列表中。

这行得通，master 执行了一些 mapReduce 作业。

今天我想从工作列表中删除这个节点(这对它来说太占用 CPU 资源了)。我想在我的 hdfs-site.xml 中设置 dfs.exclude，但我担心这也是主服务器。

有人可以确认执行此操作没有风险吗？

谢谢，罗曼。

Answer 1

如果主节点中存储有数据(可能是因为它是一个 DataNode)，您基本上会丢失该数据。但是，如果您的复制因子大于 1(默认为 3)，那么这并不重要，因为 Hadoop 会注意到某些数据丢失(复制不足)，并且会在其他 DataNode 上再次开始复制它以达到复制因子.

因此，如果您的复制因子大于 1(并且集群在其他方面是健康的)，您只需删除 master 的数据(并使其再次成为一个 NameNode)，Hadoop 将处理其余部分。