gpt4 book ai didi

hadoop - 可以通过执行-mkdir在hadoop中的远程集群上创建目录吗?

转载 作者:行者123 更新时间:2023-12-02 20:19:17 24 4
gpt4 key购买 nike

我们正在逐个分区地在群集之间移动数据,并且我们有要求使用
-update -skipcrccheck选项仅用于此目的。为了使用这些选项在每个分区上运行distcp,需要在目标位置已创建分区目录。为此,我需要从目标群集上的远程群集执行-mkdir。

我试图用Google搜索答案,但找不到任何东西。那有可能吗?

最佳答案

如果在不使用-update或-overwrite的情况下调用DistCp,则DistCp的默认值将在/ target下创建目录first /和second /。

distcp -skipcrccheck  hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target

输出:
hdfs://nn2:8020/target/first/1
hdfs://nn2:8020/target/first/2
hdfs://nn2:8020/target/second/10
hdfs://nn2:8020/target/second/20

关于hadoop - 可以通过执行-mkdir在hadoop中的远程集群上创建目录吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61488378/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com