hadoop - 带有通配符或变量的distcp目录的设计模式(全局)

Question

我知道distcp无法使用通配符。
但是，我将需要在更改的目录上安排distcp。 (即，仅在星期一等“星期五”目录中复制数据)，还从指定目录下的所有项目中复制数据。

是否有某种设计模式可用于编写此类脚本？

简而言之，我希望能够做到:

hadoop distcp /foo/*/bar/$year/$month/$day hdfs://namespace-foo/replication-dir/

Answer 1

我最终使用以下函数来访问所需的目录。

    function get_list_of_directories_for_input_dir {

        local fvar_dirlist=`hadoop fs -ls "$1" | awk '{print $8}'`
        local fvar_count=`echo "$fvar_dirlist" | wc -l`
        if [ "$fvar_count" -ge "2" ]; then

                local fvar_len=$(($fvar_count - 1))
                local fvar_dirlist=`echo $fvar_dirlist | tail -n $fvar_len`
                echo "$fvar_dirlist"

        else
                exit 1;
        fi

}