gpt4 book ai didi

hadoop - 将整个 HDFS 从一个集群转移到另一个集群

转载 作者:可可西里 更新时间:2023-11-01 15:07:08 28 4
gpt4 key购买 nike

我在具有 5 个节点的测试集群上的 HDFS 中存储了很多配置单元表。数据应约为 70 Gb * 3(复制)。不,我想将整个设置转移到具有更多节点的不同环境。两个集群之间的网络连接是不可能的。

问题是我没有太多时间使用新集群,也没有可能使用其他测试环境测试传输。因此我需要一个可靠的计划。 :)

我有哪些选择?

如何在新集群上以最少的配置工作转移配置单元设置?

是否可以只将 5 个节点的 hdfs 目录复制到新集群的 5 个节点,然后将其余节点添加到新集群并启动平衡器?

最佳答案

没有网络连接,这将很棘手!

我愿意

  1. 将文件从 HDFS 复制到某种可移动存储设备(USB 内存棒、外部 HDD 等)
  2. 将存储移动到新集群
  3. 将文件复制回 HDFS

请注意,这不会保留文件创建/上次访问时间等元数据,更重要的是,不会保留所有权和权限。

这个过程的小规模测试应该非常简单。

如果您可以获得(即使是暂时的)两个集群之间的网络连接,那么 distcp 将是可行的方法。它使用 map reduce 来并行传输,可能会节省大量时间。

关于hadoop - 将整个 HDFS 从一个集群转移到另一个集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14276313/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com