hadoop - 将文件样本从 hdfs 复制到本地 fs？

Question

好的，

一个很愚蠢的问题...

我在 hdfs 中有一个大文件

/user/input/foo.txt

我想从这个位置复制前 100 行到本地文件系统...

而且数据非常敏感，所以我对实验有点犹豫。

将样本数据从hdfs复制到本地fs的正确方法是什么。

Answer 1

如果文件没有被压缩:

bin/hadoop fs -cat /path/to/file |head -100 > /path/to/local/file

如果文件是压缩的:

bin/hadoop fs -text /path/to/file |head -100 > /path/to/local/file