gpt4 book ai didi

hadoop - 如何使用HDFS Shell访问两个或多个远程Hadoop文件系统?

转载 作者:行者123 更新时间:2023-12-02 21:49:47 24 4
gpt4 key购买 nike

由于各种原因,我在机器A上安装了一个hadoop,在集群B上安装了第二个hadoop,在集群C上安装了第三个hadoop。

设置机器A时,已设置xml文件,以便可以使用HDFS Shell在机器A上查找HDFS。

我可以在机器A上重写xml文件,以便从机器A调用的HDFS Shell在默认情况下可以看到其他HDFS。

但是,我希望能够方便地访问所有文件系统,而无需重置xml文件。

示例:在计算机A上登录时,我想使用类似以下的语法将文件从群集B复制到群集C:

hdfs dfs -cp hdfs://nn1.exampleB.com/file1 hdfs://nn2.exampleC.com/file2

当前,语法似乎不起作用(尽管错误多种多样;有时是EOF;有时是网络超时)。

如果不修改XML配置文件,以上语法是否有效?

最佳答案

您应该使用distcp命令:
$ hadoop distcp hdfs:// nn1:8020 / foo / bar hdfs:// nn2:8020 / bar / foo

在这里查看更多:http://hadoop.apache.org/docs/r0.19.0/distcp.html

关于hadoop - 如何使用HDFS Shell访问两个或多个远程Hadoop文件系统?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22034104/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com