hadoop - 运行Sort MR作业时压缩不起作用

Question

我将hadoop-2.4.0集群配置为压缩 map 输出，并且将mapred-site.xml设置如下

<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

运行InvertedIndex时，压缩有效，并且可以在“减少随机字节”中看到不同的计数器。

但是，当我运行Sort时，压缩和不压缩之间的“减少随机字节”没有区别。这意味着压缩不起作用。

好奇怪我被卡住了。你知道我在做什么错吗？

Answer 1

我认为，如果这些程序之一已在Driver类(主方法)中显式设置了属性conf.setCompressMapOutput(false);，则此设置将覆盖mapred-site.xml设置。