gpt4 book ai didi

apache-spark - 写入外部 Hive 表时进行 Spark 压缩

转载 作者:行者123 更新时间:2023-12-02 11:21:09 27 4
gpt4 key购买 nike

我正在从 Spark 2.1 插入外部 hive-parquet 表(使用 df.write.insertInto(...) 。通过设置例如

spark.sql("SET spark.sql.parquet.compression.codec=GZIP")

我可以在 SNAPPY、GZIP 和未压缩之间切换。我可以验证文件大小(和文件名结尾)是否受这些设置的影响。我得到一个名为例如的文件

part-00000-5efbfc08-66fe-4fd1-bebb-944b34689e70.gz.parquet



然而 如果我使用分区的 Hive 表 ,这个设置没有任何作用,文件大小总是一样的。此外,文件名总是

part-00000



现在如何更改(或至少验证)分区情况下 Parquet 文件的压缩编解码器?

我的表是:
CREATE EXTERNAL TABLE `test`(`const` string, `x` int)
PARTITIONED BY (`year` int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
)
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

最佳答案

当您创建外部表时,我会像这样进行:

首先使用所需的压缩编写您的 Parquet 数据集:

df.write
.partitionBy("year")
.option("compression","<gzip|snappy|none>")
.parquet("<parquet_file_path>")

您可以像以前一样使用文件扩展名进行检查。
然后,您可以按如下方式创建外部表:
CREATE EXTERNAL TABLE `test`(`const` string, `x` int)
PARTITIONED BY (`year` int)
STORED AS PARQUET
LOCATION '<parquet_file_path>';

如果外部表已存在于 Hive 中,则只需运行以刷新表:
MSCK REPAIR TABLE test;

关于apache-spark - 写入外部 Hive 表时进行 Spark 压缩,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54023847/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com