file - hadoop fs -text vs hadoop fs -cat vs hadoop fs -get

Question

我相信以下所有命令都可用于将 hdfs 文件复制到本地文件系统。有什么区别/情境利弊。 (这里是 Hadoop 新手)。

hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -get /hdfs_dir/* >> /local_dir/

我的经验法则是避免对大文件使用“text”和“cat”。 (我用它来复制我的 MR 作业的输出，这在我的用例中通常较小)。

Answer 1

-cat 和 -text 之间的主要区别在于 text 会检测文件的编码并尽可能将其解码为纯文本，而 cat 不会这样做。

例如，以这个 lzo 压缩文件为例。

使用文本:

hadoop fs -text hdfs://namenode:8020/user/hive/warehouse/database/000000_0.lzo_deflate
1,foo
2,bar
3,baz
4,hello
5,world

使用猫:

 hadoop fs -cat hdfs://namenode:8020/user/hive/warehouse/database/000000_0.lzo_deflate 
    ίiW3�I���2�IJ,�2�U\&:�99�\�:��E9)\֙��"

dfs -get 命令用于将文件复制到本地文件系统。