hadoop - Snappy文件压缩将计数器值添加到数据中

Question

On compressing a file using snappy compression through map reduce ,it adds counter values to the data .What should be done to remove counters while compression. Below is some part of code :

 JobConf jobConf = new JobConf(conf,SnappyCompression.class);
 FileInputFormat.addInputPath(jobConf, new Path(arg[0]));
 FileOutputFormat.setOutputPath(jobConf, new Path(arg[1]));
 FileOutputFormat.setCompressOutput(jobConf, true);
 FileOutputFormat.setOutputCompressorClass(jobConf, SnappyCodec.class);    

并且有任何命令可以通过Unix压缩文件吗？

Answer 1

我唯一知道的解压缩原始快照数据的工具是Squash(我写的)中的CLI。

如果要压缩/解压缩为可用的各种可用帧格式之一，则snzip应该可以解决问题。它不处理原始的快照数据，但它支持官方的框架格式以及其他一些格式。

AFAIK两种工具都尚未打包用于任何发行版。