hadoop - Shell脚本将目录从hdfs复制到本地

Question

我正在寻找一个shell脚本，该脚本应该将目录(包含文件)从HDFS复制到本地系统。

Answer 1

我认为编写整个脚本是没有意义的，只需要在终端中编写一个命令即可。
用

hadoop fs -ls /myDir/path

您可以验证要复制和写入的目录的名称和路径

hadoop fs -get /myDir/path

将文件放入本地。您还可以通过以下方式指定目标目录

hadoop fs -get /myDir/path /myLocal/destDir

它会将while目录(带有子目录)复制到您的工作目录或指定目录中。您还可以通过以下方式逐个文件获取(一个目录一个目录)

hadoop fs -get /myDir/path/* 

或一个命令中的特定目录或文件

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .

到您的目录。我在Hadoop VM上进行了尝试，并且工作正常。