java - MapReduce Hadoop作业总体进展

Question

我有一个 MapReduce 程序，其中每个映射器实例处理 1 个文件。
我现在还没有 reducer 代码。

现在，我想要的是获取一些 API 来检查整个 MapReduce 作业的进度？

我在 API 中看到了 mapprogress() 方法，但它提供了有关映射器的进度。能否了解整个工作的整体进度？

编辑:我通过 oozie 工作流程触发此 hadoop 作业。是否可以显示 oozie 或 Hue 的整体进度？他们有一些 API 吗？

Answer 1

Map-Reduce作业由两个阶段组成，即Mapper阶段和Reducer阶段。

Reducer 阶段依赖于 Mapper 输出，因此除非完成 Mapper 执行，否则无法跟踪Reducer 的进度。由于reducer阶段是相关的，因此您无法事先获取reducer的进度(这是获取整个作业状态所必需的)。

你可以做的是:

使用Job.mapProgress()跟踪映射器任务进度。完成后，您可以使用Job.reduceProgress()跟踪您的 reducer 进度(假设您有 reducer )，这最终与整个作业的进度相同。