hadoop - 将大型数据集从 Hive 复制到本地目录

Question

我正在尝试将数据从配置单元表复制到我的本地目录。我使用的代码是:

nohup hive -e "set hive.cli.print.header=true; set hive.resultset.use.unique.column.names=false; select * from sample_table;" | sed 's/[\t]/|/g'  > /home/sample.txt &

问题是该文件大约有 400 GB，并且该过程需要很长时间才能完成。

有没有更好的方法，比如在生成文件时压缩文件。

我需要将数据作为 .txt 文件，但我无法快速解决此问题。

任何聪明的想法都会非常有帮助。

Answer 1

您是否尝试过使用 hadoop 命令的 -getmerge 选项来完成它？这通常是我用来合并 Hive 文本表并导出到本地共享驱动器的方法。

hadoop fs -getmerge ${SOURCE_DIR}/table_name ${DEST_DIR}/table_name.txt

我认为 sed 命令也会显着降低速度。如果您在提取数据之前在 Hive 中进行字符替换，这将比在您的边缘节点上运行的单线程 sed 命令更快。