bash - 如何将除本地驱动器以外的所有文件和目录从本地驱动器复制到HDFS？

Question

我有一个/home/my_directory/目录，其中包含以下文件和子目录:

anotherTest.txt  doNotCopy.txt   my_subdirectory/   subdirectory2/   test.txt      

除了 doNotCopy.txt文件，如何复制HDFS上的所有文件和目录？

Answer 1

--copyFromLocal没有提供排除特定文件的方法。您可以执行以下操作:

ls /home/my_directory | grep -v 'doNotCopy.txt' | while read -r fileName ; do 
    eval "hdfs dfs -copyFromLocal -f $fileName /path/to/HDFS/" 
done

现在，如果您对 ls进行 /path/to/HDFS/编码，则应在其中获取所需的文件:

hdfs dfs -ls -C /path/to/HDFS/

anotherTest.txt   my_subdirectory/   subdirectory2/   test.txt 

如果要排除多个文件或目录

ls /home/my_directory | grep -v 'doNotCopy.txt\|dirDoNotCopy\|anotherTextFile.txt' | while read -r fileName ; do 
    eval "hdfs dfs -copyFromLocal -f $fileName /path/to/HDFS/" 
done