text - map 减少每个文本文件的实现

Question

我需要计算每个文档中每个单词的词频，所以我想为每个文本文件实现 map reduce 函数。如何为每个文本文件实现 map() 和 reduce()？

Map-Reduce 中的另一个问题是 Map-Reduce 将reduce 的输出写入单个文件/user/output/part-0000 而project 需要将每个文件处理后的输出写入不同的文本文件，如何实现？

Answer 1

按照下面提到的步骤:

1. 在作业文件中计算输入文件的数量
2. 设置numreducers等于输入文件的数量
3. 将数字 0 到 n-1 分配给文件并将此信息传递给分布式缓存
4. 在映射器的 setup() 方法中获取文件名并检索该文件的分配编号并将其分配给某个静态变量
5. 从Partitioner返回这个静态变量

Reducer 将发出“n”个文件。