apache-spark - 如何使用自定义 Parquet 压缩算法？

Question

是否可以在Spark中使用自定义压缩算法读写Parquet文件？

理想情况下，它应该配置如下:

sqlContext.setConf("spark.sql.parquet.compression.codec", "myalgo")

Answer 1

不，如所述in the documentation (这里指的是版本 2.2.0)唯一可接受的值是

• 未压缩,
• 活泼,
• gzip 和
• lzo

snappy 是默认的。

这是由于 Parquet 本身的限制，它只使用一组受限制的压缩算法，如 this enumeration 中所列。 (适用于 1.5.0 版本)。