hadoop - 我们可以使用带有Snappy压缩的Hive表使用TEXT FILE格式吗？

Question

我在HDFS中有一个配置单元外部表，我试图在其上方创建配置单元托管表。我正在使用文本文件格式进行快速压缩，但是我想知道它如何帮助该表。

CREATE TABLE standard_cd 
(
    last_update_dttm         TIMESTAMP,
    last_operation_type     CHAR (1) ,
    source_commit_dttm   TIMESTAMP,
    transaction_dttm         TIMESTAMP ,
    transaction_type    CHAR (1)          
) 

PARTITIONED BY (process_dt DATE)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|' 
STORED AS TEXTFILE
TBLPROPERTIES  ("orc.compress" = "SNAPPY");

让我知道使用这种格式创建时是否存在任何问题。

Answer 1

因此，它们在创建时没有问题。
但特性不同:

创建并存储为TEXTFILE的表:



创建并存储为ORC的表:



尽管加载某些数据后，两个表的大小相同。

还检查有关ORC file format的文档