hadoop - 使用 copyToLocal 从 HDFS 复制的路径

Question

我正在尝试从 HDFS 复制当我运行它时，什么也没有发生。

hadoop fs -copyToLocal out1 ~/datatemp

我假设我应该为 HDFS 文件包含一个更长的路径？out1 是存储在 HDFS 上的目录，~/datatemp 是本地磁盘上的目标目录。我做得对吗？为什么 ~/datatemp 中没有任何内容？我怎么知道 out1

的完整路径

我也试过

hadoop fs -get out1 ~/datatemp

Answer 1

将整个 out1 HDFS 目录复制到本地磁盘:

hadoop fs -copyToLocal /hdfs/path/to/out1 ~/datatemp

要复制 out1 HDFS 目录中的文件，请说 file1.txt:

hadoop fs -copyToLocal /hdfs/path/to/out1/file1.txt ~/datatemp

复制 out1 HDFS 目录中的所有文件:

hadoop fs -copyToLocal /hdfs/path/to/out1/* ~/datatemp

要查找 out1 目录在 HDFS 上的位置，您可以列出并搜索:

hadoop fs -ls -R / | grep out1