gpt4 book ai didi

hadoop - 如何在 hadoop 中读取 .deflate 文件

转载 作者:可可西里 更新时间:2023-11-01 14:10:30 31 4
gpt4 key购买 nike

我得到了一些 pig 生成的带有 part-r-00000.deflate 扩展名的文件。我知道这是一个压缩文件。如何生成可读格式的普通文件。当我使用 hadoop fs -text 时,我无法获得明文输出。输出仍然是二进制的。我该如何解决这个问题?

最佳答案

您可能正在使用 quite old fs -text 无法扩充压缩文件的 Hadoop 版本(例如:0.20.0)。

作为一种解决方法,您可以尝试这种单行(基于 this 答案):

hadoop fs -text file.deflate | perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)'

关于hadoop - 如何在 hadoop 中读取 .deflate 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18759142/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com