hadoop - 将多个.deflate文件转换为ubuntu中的一个gzip文件

Question

我运行了一个hadoop作业，该作业已生成多个.deflate文件。现在，这些文件存储在S3上。因此，我无法运行hadoop fs -text /somepath命令，它将采用hdfs路径。现在，我想将.deflate格式存储在s3上的多个文件转换为一个gzip文件。

Answer 1

如果改为使用gzipCodec制作gzip文件，则只需将它们串联即可制作一个大的gzip文件。

您可以按照RFC 1952中的描述，使用gzip header 和尾标来包装deflate流。一个固定的10字节 header 和一个8字节的尾部，它是根据未压缩的数据计算出来的。因此，您将需要解压缩每个.deflate流，以计算其CRC-32和未压缩的长度以放入尾部。