java - 为 hadoop MapReduce Cleanup 添加进度跟踪机制

Question

假设我在 Hadoop MapReduce 中使用 cleanup() 函数。我如何在其中添加进度跟踪机制，比如说以完成百分比表示，以在控制台中显示它？

Answer 1

没有执行 Mapper.java 的 cleanup()类。

当从命令提示符运行 Hadoop 作业时，控制台上会打印以下内容。

11/10/31 18:15:50 INFO mapreduce.Job:map 0% reduce 0%
11/10/31 18:16:15 INFO mapreduce.Job:map 50% reduce 0%
11/10/31 18:16:21 INFO mapreduce.Job: map 100% 减少 0%
11/10/31 18:16:30 INFO mapreduce.Job: map 100% 减少 100%

上面的代码在 Job.java 中类。

  String report = 
    (" map " + StringUtils.formatPercent(mapProgress(), 0)+
        " reduce " + 
        StringUtils.formatPercent(reduceProgress(), 0));
  if (!report.equals(lastReport)) {
    LOG.info(report);
    lastReport = report;
  }

必须修改 Mapper.cleanup() 代码以将进度打印到控制台和构建的 jar 文件。我不认为 Hadoop 中的清理有 OOB 支持。