Hadoop fs -get 仅复制特定文件

Question

有没有办法只复制特定文件，比如使用 fs -get 或 fs -copyToLocal 根据文件类型？注意:我希望这是递归的并遍历整个集群。

想通了，但我无法回答我自己的问题。

这是我们的做法。刚刚写了一个快速的 shell 脚本。

mkdir /tmp/txt

    for F in `hadoop fs -fs hdfs://namenode.mycluster -lsr / | grep '/*.txt$' | awk '{print $NF}'; 
    do
       hadoop fs -fs hdfs://namenode.mycluster -copyToLocal $F /tmp/las/ 
    done

Answer 1

这是我们的做法。刚刚写了一个快速的 shell 脚本。

LOCAL_DIR=/tmp/txt
mkdir $LOCAL_DIR

for F in `hadoop fs -fs hdfs://namenode.mycluster -lsr / | grep '/*.txt$' | awk '{print $NF}'; 
do
   hadoop fs -fs hdfs://namenode.mycluster -copyToLocal $F $LOCAL_DIR 
done`