gpt4 book ai didi

hadoop - 找出原始 Parquet 文件的大小?

转载 作者:可可西里 更新时间:2023-11-01 14:57:52 24 4
gpt4 key购买 nike

有没有办法计算出用 snappy 压缩的 parquet 文件的未压缩文件大小是多少?我在 HDFS 目录中有很多 Parquet 文件,我试图弄清楚如果该数据未压缩,是否有办法计算文件大小。

最佳答案

您可以尝试解压缩数据并查看它占用了多少空间。参见 How to decompress the hadoop reduce output file end with snappy?

也许有一种我不知道的更优雅的方式

关于hadoop - 找出原始 Parquet 文件的大小?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33813744/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com