hadoop - cluster.getJob 在 hadoop 中返回 null

Question

public void setup(Context context) throws IOException, InterruptedException{
            Configuration conf = context.getConfiguration();
            org.apache.hadoop.mapreduce.Cluster cluster = new org.apache.hadoop.mapreduce.Cluster(conf);
            Job currentJob = cluster.getJob(context.getJobID());
            mapperCounter = currentJob.getCounters().findCounter(TEST).getValue();  
        }

我编写了以下代码来获取我在映射器函数中递增的计数器的值。问题是 cluster.getJob 返回的 currentJob 结果为空。有谁知道我该如何解决这个问题？

我的问题是不同的，因为我试图在所有 map reduce 任务完成后访问 reducer 中的计数器。我粘贴在此处的这段代码属于我的 reducer 类。

Answer 1

似乎 cluster.getJob(context.getJobID()); 在 hadoop 的 Standalone Operation 中不起作用。

尝试在 hadoop 的单节点集群模式下使用 YARN 运行您的程序，如文档中所述:https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation