hadoop - Hadoop映射器压缩输出不起作用？

Question

我正在使用hadoop cdh4.1.2，而我的mapper程序几乎是输入数据的回声。但是在我的工作状态页面中，我看到了

FILE: Number of bytes written  3,040,552,298,327

几乎等于

FILE: Number of bytes read 3,363,917,397,416

对于映射器，虽然我已经设定

conf.set("mapred.compress.map.output", "true");

看来他们的压缩算法不适合我的工作？为什么是这样？

Answer 1

你的工作有 reducer 吗？

如果是这样，请选中“减少随机字节”。如果该数量大大少于(“映射输出字节”的(1/5左右))，则可以假定映射输出已压缩。压缩在映射完成后发生，因此，可能显示它具有输出的实际数据大小，而不是压缩大小。

如果您仍然不确定它是否正常工作，请提交带压缩和不带压缩的作业，然后比较“减少混洗字节”。就映射输出压缩而言，“减少混洗字节”至关重要。