hadoop - 使用直线命令将配置单元查询下载为 csv 格式

Question

我需要将 hive 查询结果以 csv 格式下载到本地文件路径。此外，列值应包含在引号中，字段以逗号结尾，文件的第一行应包含列标题。

任何人都可以帮助我实现这一目标的最佳方法吗？注意 - 查询通常返回超过 500 万行。

Answer 1

最好的方法是使用您选择的数据创建一个配置单元表，如下所示。

CREATE EXTERNAL TABLE ramesh_csv (col1 INT, col2 STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = ",",
"quoteChar" = "\""
)
STORED AS TEXTFILE
LOCATION 'mylocation';

INSERT OVERWRITE TABLE ramesh_csv VALUES (1, 'TEST'), (2, 'TEST AGAIN');

在您的例子中，您会将选定的记录插入表中。

现在创建 HDFS 文件。这将以逗号分隔，并用双引号括起来。

在下面查看我的输出

"1","TEST"
"2","TEST AGAIN"

并且您可以使用hdfs -getmerge hdfs://mylocation data.csv将hdfs部分文件下载到一个本地文件中