hadoop - Hadoop Map/Reduce作业进度计数器

Question

我有一个map / reduce作业，我想跟踪该作业的map阶段中处理的记录数。为此，我在 map 阶段使用了自定义计数器，并将它们加1。另外，我每30秒监视一次这些计数器。

但是，当我使用Job Client检查作业计数器的进度时，我查看的是处理的记录数甚至不是每个周期性间隔。有时，没有变化，有时却没有。

context.getCounter(ApplicationCounters.TOTAL_NUMRECORDS_PROCESSEDBY_MAP)
            .increment(1);

我的hadoop群集心跳间隔为15秒。这并不意味着，我应该定期进行定期更新。

Answer 1

确保您的工作已完成，建议使用waitForCompletion。在运行时查询计数器可能会导致奇怪的结果。

The counters are globally aggregated by the framework at the end of the job.