hadoop - 如何在容器格式的 Hadoop 中使用 Snappy

Question

我必须使用 Snappy 来压缩 map o/p 和 map-reduce o/p。此外，这应该是可拆分的。

正如我在网上学习的那样，要使 Snappy 编写可拆分的 o/p，我们必须在类似容器的格式中使用它。

你能建议如何去做吗？我试着在网上找一些例子，但找不到一个。我正在使用 Hadoop v0.20.203。

谢谢。皮尤什

Answer 1

用于输出

conf.setOutputFormat(SequenceFileOutputFormat.class);
SequenceFileOutputFormat.setOutputCompressionType(conf, CompressionType.BLOCK);
SequenceFileOutputFormat.setCompressOutput(conf, true);
conf.set("mapred.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");


用于 map 输出


配置 conf = new Configuration();
conf.setBoolean("mapred.compress.map.output", true);
conf.set("mapred.map.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");