hadoop - 这个模型是否适合 hadoop？

Question

我需要知道我的用例是否针对 hadoop 正确构建。假设我想在 hadoop 集群上运行单词计数 jar，但我希望对输出进行排序，以便每个输出文件仅包含具有相同起始字母的单词。

我相信我可以使用 partitioner 类，根据单词的首字母对不同的 reducer 进行排序。而且我认为有 26 个 reducer ，每个字母一个，应该按照我想要的方式输出。但我需要知道这是否可能和/或正确的方法来处理与 hadoop 相关的此类问题。

Answer 1

是的，这将是最简单的方法 - 每个起始字母一个 reducer。正如您所说，您需要一个简单的自定义分区程序来正确路由映射阶段输出。