hdfs - Sqoop 导入为 OrC 文件

Question

sqoop 中是否有任何选项可以从 RDMS 导入数据并将其以 ORC 文件格式存储在 HDFS 中？

尝试的替代方案:以文本格式导入并使用临时表将输入读取为文本文件并在 hive 中作为 orc 写入 hdfs

Answer 1

至少在 Sqoop 1.4.5 中存在支持 orc 文件格式(等等)的 hcatalog 集成。

例如，您可以选择

--hcatalog-storage-stanza

可以设置为

stored as orc tblproperties ("orc.compress"="SNAPPY")

例子:

sqoop import 
 --connect jdbc:postgresql://foobar:5432/my_db 
 --driver org.postgresql.Driver 
 --connection-manager org.apache.sqoop.manager.GenericJdbcManager 
 --username foo 
 --password-file hdfs:///user/foobar/foo.txt 
 --table fact 
 --hcatalog-home /usr/hdp/current/hive-webhcat 
 --hcatalog-database my_hcat_db 
 --hcatalog-table fact 
 --create-hcatalog-table 
 --hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")'