hadoop - 如何在级联中强制 reducer ？

Question

获得一些只有 reducer 而不是 mapper 才有的好处。

Answer 1

在 Google 网上论坛中找到我的答案:

使用 GroupBy，在执行分组时，它总是会使用 reducer:

previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All

减少文件数量(耦合度较低的另一种选择)

previousPipe = new GroupBy(previousPipe, new Fields("rand"), 
               new RandonNumGen(Fields.Args));

其中 new RandonNumGen(Fields.Args) 是您从 Function 构建的函数，用于创建一个新的 Fields("rand")，它创建临时随机数(临时意味着您稍后删除该字段)。

有关更多信息，请查看此 Google Groups主题: