hadoop - HDFS将datanodes服务器迁移到新服务器

Question

我想将包含所有数据和组件的hadoop服务器迁移到新服务器(红帽的较新版本)。

我在cloudera网站上看到了一篇有关如何移动名称节点的帖子，
但我不知道如何在不丢失数据的情况下移动所有数据节点。
我们有复制因子2。
如果我一次关闭1个datanode，hdsfs会生成新副本吗？
有没有一种方法可以一次迁移所有数据节点？将所有(约20个服务器)数据节点转移到新集群的正确方法是什么？

我也想知道hbase是否会有同样的问题，或者我是否可以删除并在新服务器上添加角色

更新以澄清:

我的Hadoop集群已经包含了两组服务器(它们在同一个hadoop集群中，在示例中我只是对其进行了逻辑拆分)

首先设置的是较早版本的linux服务器

第二组是Linux服务器的较新版本

两组都已经共享数据和组件(namenode在旧的服务器集中)。
我要删除所有旧服务器集，以便仅新服务器集将保留在hadoop群集中。

执行是否应该像这样:

关闭一个数据节点(来自旧服务器集)

运行平衡器并等待

完成

对下一个数据节点

做相同的操作

因为如果这样的话，平衡器操作会花费很多时间，而整个操作会花费很多时间。

对于hbase来说，同样的问题，
现在，hbase region和master仅位于旧服务器上，我想将其删除并安装在新服务器上而不会丢失数据。

谢谢

Answer 1

可以自由添加新的Datanode，而无需触摸namenode。但您绝对不应一次关闭多个设备。

例如，如果您选择随机关闭两台服务器，并且两台服务器都保存一个文件块，则它不可能在其他地方复制。因此，如果您要重复使用相同的硬件，则一次升级一个。

在理想情况下，您的OS磁盘与HDFS磁盘是分开的。在这种情况下，您可以卸载它们，升级操作系统，重新安装HDFS服务，重新安装磁盘，所有操作将像以前一样工作。如果那不是您设置服务器的方式，则应在下一次升级之前执行此操作。

为了将副本添加到任何新的数据节点中，您需要1)增加复制因子，或2)运行HDFS重新平衡器以确保副本在整个群集中都经过改组

我对Hbase不太熟悉，但是我知道您需要在安装该服务并将其迁移到其他服务器之前刷新regionservers。但是，如果在不重新平衡区域的情况下刷新了大多数数据，则将有一台服务器保存所有数据。我相信主服务器也有类似的警告，尽管hbase backup似乎是值得尝试的命令。