hadoop - reducer 未在hadoop中执行

Question

嗨，我对这个hadoop非常陌生，我想尝试执行一个简单的mapreduce作业链，但是在我的代码减少器中没有得到执行。这是我编写的简单代码

这是我的映射器代码



@Override
 public void map(LongWritable arg0, Text arg1,
 OutputCollector<Text, IntWritable> arg2, Reporter arg3)
 throws IOException {
 // TODO Auto-generated method stub
 System.out.println("in first mapper");

 }

这是我简单的 reducer 代码

@Override
public void reduce(Text arg0, Iterator<IntWritable> arg1,
        OutputCollector<Text, IntWritable> arg2, Reporter arg3)
        throws IOException {
    // TODO Auto-generated method stub
    System.out.println("in reducer");

}

这是负责工作的主要类(class)

JobConf jobConf = new JobConf(jobrunner.class);
jobConf.setJobName("Chaining");

FileInputFormat.setInputPaths(jobConf, new Path("hdfs://localhost:9000/employee_data.txt"));
FileOutputFormat.setOutputPath(jobConf,new Path("hdfs://localhost:9000/chain3.txt"));

JobConf conf1 = new JobConf(false);

ChainMapper.addMapper(jobConf,chainmap.class,LongWritable.class,Text.class,Text.class,IntWritable.class,true,conf1);

JobConf conf2 = new JobConf(false);

ChainReducer.setReducer(jobConf, chainreduce.class,Text.class,IntWritable.class,Text.class,IntWritable.class,true,conf2);

JobClient.runJob(jobConf);

不知道我哪里出了问题.reducer中的sysout没有被打印。对此有任何帮助吗？

Answer 1

可能的原因:您没有从映射器输出任何内容以使reducers最初运行。尝试使用映射器中的outputCollector.collect(key, value);为 reducer 编写一些实际运行的代码。