java - mapreduce 作业的进度

Question

我正在开发一个 MapReduce 应用程序，我想知道我正在运行的作业的进度。我已经熟悉 job.mapprocess 和 job.reducerprocess 方法。这些方法仅在作业完成后才有效的问题。

有没有什么方法可以在作业运行时实时提供作业进度，而不仅仅是在作业完成时。

Answer 1

在新的 Hadoop API 中，您可以通过以下方式从 mapper 或 reducer 类中的 Context 对象访问进度值:

public class MyMapper extends Mapper<Writable, Writable, Writable, Writable> {

    @Override
    public void map(Writable key, Writable value, Mapper<Writable, Writable, Writable, Writable>.Context context) throws IOException, InterruptedException {
        context.getProgress();
}