java - 在mapreduce中访问mapper/reducer类之外的静态HashMap

Question

我正在尝试编写一个mapreduce程序，其中map函数将项目添加到HashMap，然后reducer访问这些项目并将其写入输出。

public class MyClass {
    static HashMap<String, Integer> temp = new HashMap<String, Integer>();

    public static class Map1 extends Mapper<LongWritable, Text, Text, IntWritable> {
        public void map(LongWritable key, Text value, Context context) {
            temp.put("1", 1);
        }
    }

    public static class Reduce1 extends Reducer<Text, IntWritable, Text, Text> {

        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) {
            Iterator it = temp.entrySet().iterator();
            while (it.hasNext()) {
                Map.Entry<String, Integer> pair = (Map.Entry<String, Integer>)it.next();
                String key = pair.getKey();
                String val = Integer.toString(pair.getValue());
                context.write(new Text(key), new Text(val));
            }
        }
    }

这编译得很好，但是 reducer 的输出是空的。我不太擅长 Java，所以我不太确定这里出了什么问题。

Answer 1

您误解了 MapReduce 是一种在许多进程和潜在机器之间运行的分布式算法。

在此过程中创建的每个新 MyClass 实例都将为空，并且不会作为应用程序生命周期的一部分进行共享

另外，你的映射器什么也没做。向reducer发送数据的方式是使用context.write。

有关字数统计代码，请参阅 Hadoop 官方文档。