hadoop - 作业类型未定义 setNumMapTasks(int) - Hadoop MapReduce

Question

我无法将“job.setNumMapTasks(int)”添加到我的 MapReduce 程序的驱动程序中。当我尝试添加它时，出现编译错误，指出“setNumMapTasks(int) 未定义作业类型”。但是，我能够添加 reducer 等效项“job.setNumReduceTasks(int)”。在我看来，如果我可以添加一个，我应该可以添加另一个。下面是我的司机。非常欢迎任何建议。

public int run(String[] args) throws Exception {
    Configuration conf = getConf();      
    Job job = new Job(conf, "PiCalc");        
    job.setJarByClass(PiCalc.class);            
    Path in = new Path(args[0]);
    Path out = new Path(args[1]);
    FileInputFormat.setInputPaths(job, in);
    FileOutputFormat.setOutputPath(job, out);
    job.setJobName("PiCalc"); 
    job.setNumMapTasks(20);
    job.setNumReduceTasks(10);
    job.setMapperClass(MapClass.class);
    job.setReducerClass(Reduce.class);   
    job.setInputFormatClass(KeyValueTextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(IntWritable.class);
    System.exit(job.waitForCompletion(true)?0:1);
    return 0;
}  

Answer 1

job无需设置map任务数。 map任务的数量等于输入文件中的 block 数。

默认情况下，reducer 的数量等于 1，除非明确指定。