gpt4 book ai didi

linux - 将HDFS Hadoop中的最后5个更新文件复制到bash中的目标文件夹

转载 作者:行者123 更新时间:2023-12-02 19:43:59 26 4
gpt4 key购买 nike

我正在尝试选择最近5个最新更新的文件,并使用bash脚本将它们复制到hdfs(Hadoop)中的目标文件夹中。我有此命令返回最近5个最新文件:

hdfs dfs -ls -R /user/myfolder | awk -F" " '{print $6" "$7" "$8}' | sort -k6,7 | tail -5
输出量
/user/myfolder/example1.txt
/user/myfolder/example2.txt
/user/myfolder/example3.txt
/user/myfolder/example4.txt
/user/myfolder/example5.txt
下一步将这些文件移动到目标hdfs目录的最佳方法是什么?
编辑:
因此,我发现hdfs dfs -cp命令可以采用多个参数,如下所示:
latest_files=$(hdfs dfs -ls -R /user/myfolder | awk -F" " '{print $6" "$7" "$8}' | sort -k6,7 | tail -5 | cut -d" " -f3)
hdfs dfs -cp $latest_files $target_directory
另外,我相信使用xargs接受的答案也是一个不错的选择。

最佳答案

下面的命令使用awkxargs解决了该问题。

hadoop fs -ls -R /dev/hadoop/hdata/test | awk '{print $6, $7, $8}'|sort -nr| head -5| cut -d" " -f3- | xargs  -I{} hadoop fs -cp '{}' /dev/hadoop/hdata/test1

完成命令验证:

#input files available
[devuser@DATANODEUK03 HADOOP]$ hadoop fs -ls /dev/hadoop/hdata/test
Found 8 items
-rw-r----- 3 devuser uk1-dna-haas_dev 0 2020-08-06 04:51 /dev/hadoop/hdata/test/test1.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 04:56 /dev/hadoop/hdata/test/test10.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:00 /dev/hadoop/hdata/test/test15.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:01 /dev/hadoop/hdata/test/test16.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:04 /dev/hadoop/hdata/test/test17.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:04 /dev/hadoop/hdata/test/test18.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 0 2020-08-06 04:51 /dev/hadoop/hdata/test/test2.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 0 2020-08-06 04:53 /dev/hadoop/hdata/test/test3.txt

#command to get latest 5 files in a folder recursively & copy into another folder
hadoop fs -ls -R /dev/hadoop/hdata/test | awk '{print $6, $7, $8}'|sort -nr| head -5| cut -d" " -f3- | xargs -I{} hadoop fs -cp '{}' /dev/hadoop/hdata/test1

#copy validation in HDFS
[devuser@DATANODEUK03 HADOOP]$ hadoop fs -ls /dev/hadoop/hdata/test1

Found 5 items
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:05 /dev/hadoop/hdata/test1/test10.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:05 /dev/hadoop/hdata/test1/test15.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:04 /dev/hadoop/hdata/test1/test16.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:04 /dev/hadoop/hdata/test1/test17.txt
-rw-r----- 3 devuser uk1-dna-haas_dev 21 2020-08-06 05:04 /dev/hadoop/hdata/test1/test18.txt

关于linux - 将HDFS Hadoop中的最后5个更新文件复制到bash中的目标文件夹,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63268953/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com