hadoop - 将Hive数据导出到文件？

Question

将Hive数据导出到文件中以便Sqoop以后可以使用它们的最佳方法是什么？我有一些配置单元表，但是我想加入它们并将它们导出到文件中，这样我就可以使用Sqoop将它们导出到另一个系统中。

我可以这样使用:

INSERT OVERWRITE LOCAL DIRECTORY $fileLocation
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
SELECT * from ...... INNER JOIN...... 

所以我的问题是，还有更好的方法吗？ Avro可以加快多少速度？由于以后需要使用Sqoop，因此TEXT和AVRO只是我的选择，对吗？

SET hive.exec.compress.output=true;
set avro.output.codec=snappy;

INSERT OVERWRITE LOCAL DIRECTORY $fileLocation
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS AVRO
SELECT * FROM ..... INNER JOIN...... 

它肯定会压缩文件，但是Sqoop将需要在导出之前对其进行解压缩。那么这仍然是一个更好的选择吗？我还有其他选择吗？

Answer 1

Sqoop可以使用--export-dir Sqoop导出参数直接从Hive表下面的HDFS目录中导出Hive数据。

通过在Hive中运行以下命令，可以找到映射到Hive表的HDFS目录:

hive> DESCRIBE EXTENDED tablename;
...
...location:hdfs://path/to/the/table/data...
...