java - 如何将表导入本地文件系统？

Question

我正在尝试从配置单元中的表导出结果并使用此命令:

bline --hiveconf hive.mapred.mode=nonstrict --outputformat=csv2 -e "select * from db.table;">~/table.csv

(bline is an alias for beeline -u address + some options)

查询完成但随后给了我

error java.lang.OutOfMemoryError: GC overhead limit exceeded

我导出表是否正确，或者是否有更好的方法在 Hive 中导出表？

Answer 1

由于您的表是以文本格式存储的，您可以简单地使用get/getmerge 将文件从 HDFS 复制到本地文件系统

• get
• getmerge

---

演示

hive

create table mytable (i int,s string,d date);

insert into mytable values 
    (1,'hello','2017-03-01')
   ,(2,'world','2017-03-02')
;

select * from mytable
;

mytable.i   mytable.s   mytable.d
1   hello   2017-03-01
2   world   2017-03-02

show create table mytable;

CREATE TABLE `mytable`(
  `i` int, 
  `s` string, 
  `d` date)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://localhost:8020/user/hive/warehouse/mytable'
.
.
.

狂欢

hdfs dfs -getmerge /user/hive/warehouse/mytable mytable.txt

cat mytable.txt 

1hello2017-03-01
2world2017-03-02

附言列之间有一个看不见的分隔符，字符 SOH，ascii 值为 1。

<mytable.txt tr $'\x01' ','
1,hello,2017-03-01
2,world,2017-03-02