compression - 如何让 Hive 与 bz2 一起工作？

Question

由于bz2是可拆分的，节省空间，我打算将表数据存储为bzip2格式。但是它似乎无法识别压缩格式。 gzip 格式没问题。我使用的代码如下所示:

CREATE TABLE IF NOT EXISTS image_bzip (
    image_id STRING,
    image_feature STRING, 
    other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';

LOAD DATA LOCAL INPATH '/nfs/directory/*.bz2' OVERWRITE INTO TABLE image_bzip;

有人可以指出我缺少的东西吗？

谢谢。

Answer 1

如果我们正确设置压缩编解码器，它自然会工作。