hadoop - "Map output materialized bytes"与 "map output bytes"

Question

在 hadoop 作业计数器中，“映射输出具体化字节”与“映射输出字节”之间有什么区别？当我禁用映射输出压缩时我没有看到前者所以我猜它是真正的输出字节(压缩)而后者是未压缩的字节？

Answer 1

我认为你是对的。来自 http://hadoop.apache.org/docs/r1.0.4/releasenotes.html :

MAPREDUCE-2365。 FileInputFormat (BYTES_READ) 和 FileOutputFormat (BYTES_WRITTEN) 的新计数器。用于压缩 MapOutputSize 的新计数器 MAP_OUTPUT_MATERIALIZED_BYTES。 (悉达多赛斯)

(自 Hadoop 0.20.2 以来的变化)

................................................ ..................................................... .....................................................

这里引用了 Tom White 的“Hadoop 权威指南”，第 3 版(表 8-2，第 261 页):

“映射输出物化字节”——映射输出实际写入磁盘的字节数。如果启用映射输出压缩，这将反射(reflect)在计数器值中。

“ map 输出字节数”- 作业中所有 map 生成的未压缩输出的字节数。每次在 map 的 OutputCollector 上调用 collect() 方法时递增。