gpt4 book ai didi

hadoop - hdfs 将多个文件复制到同一目标目录

转载 作者:可可西里 更新时间:2023-11-01 14:20:41 49 4
gpt4 key购买 nike

我了解到,如果您想将多个文件从一个 hadoop 文件夹复制到另一个 hadoop 文件夹,您最好创建一个包含大量组件的大型“hdfs dfs -cp”语句,而不是创建多个 hdfs dfs -cp 语句。“更好”是指它会缩短复制文件所需的总时间:一个命令比多个单独的 -cp 命令依次运行要快。

当我这样做并且我的目标目录对于我要复制的所有文件都是相同的时,我会收到警告。

我正在执行以下命令:

hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target

执行后我收到以下警告:

cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself

虽然我收到了这个奇怪的警告,但复制本身会成功,就像它应该的那样。这是错误还是我遗漏了什么?

最佳答案

尝试使用以下语法:

hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target

关于hadoop - hdfs 将多个文件复制到同一目标目录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41185930/

49 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com