hadoop - 使用 Hadoop0.20.2 运行标准 "WordCount"程序时没有得到正确的输出

Question

我是 Hadoop 的新手。我一直在尝试运行著名的“WordCount”程序——它计算单词的总数
在使用 Hadoop-0.20.2 的文件列表中。
我正在使用单节点集群。

以下是我的程序:

import java.io.File;
import java.io.IOException;
import java.util.*;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class WordCount {

    public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer tokenizer = new StringTokenizer(line);
            while (tokenizer.hasMoreTokens()) {
                word.set(tokenizer.nextToken());
                context.write(word, one);
            }
        }
    } 

    public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

        public void reduce(Text key, Iterator<IntWritable> values, Context context) 
        throws IOException, InterruptedException {
            int sum = 0;
            while (values.hasNext()) {
                ++sum ;
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = new Job(conf, "wordcount");        
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));        
        job.setJarByClass(WordCount.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setMapperClass(Map.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);       

        job.setReducerClass(Reduce.class);          
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);              
        job.setNumReduceTasks(5);        
        job.waitForCompletion(true);       

    }

}

假设输入文件是 A.txt，其内容如下

A B C D A B C D

当我使用 hadoop-0.20.2 运行这个程序时(为了清楚起见没有显示命令)，输出是
1
1
乙 1
乙!
C 1
C 1
!
1

这是错误的。实际输出应该是:
A2
乙二
C 2
2

这个“WordCount”程序是非常标准的程序。我不确定这段代码有什么问题。
我已经正确编写了 mapred-site.xml 、 core-site.xml 等所有配置文件的内容。

我该如何解决这个问题？

Answer 1

此代码实际上运行本地 mapreduce 作业。如果您想将此提交到真实集群，您必须提供 fs.default.name和 mapred.job.tracker配置参数。这些 key 通过主机:端口对映射到您的机器。就像在您的 mapred/core-site.xml 中一样。
确保您的数据在 HDFS 中而不是在本地磁盘上可用，并且应减少 reducer 的数量。每个 reducer 大约有 2 条记录。您应该将其设置为 1。