hadoop - 如何从 map-reduce 程序中获取唯一的键和值？

Question

从 reducer ，我得到以下输出。

key     value
1       apple
2       apple
3       apple
4       orange
5       orange  

但是，我需要以下输出:

key     value
1       apple
4       orange

什么是正确的实现方式？

Answer 1

此图显示了字数统计流程。

您可以通过以下方式实现:

1.Pig脚本(内部生成一个map reduce job)对于非java开发者你需要安装 pig 。

您需要在 HDFS 中有您的输入文件。

然后在 grunt shell 或 Hue(无论你有什么选择)中使用以下代码

lines = LOAD 'path of input file' AS (line:chararray);

words = FOREACH lines GENERATE FLATTEN(TOKENIZE(line)) as word;

grouped = GROUP words BY word;

wordcount = FOREACH grouped GENERATE group, COUNT(words);

DUMP wordcount;

1. Map Reduce 编码 面向 Java 开发人员您必须将 Map Reduce Api 与 java 一起使用

引用本教程。

https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html