hadoop - mapreduce:可以减少阶段 "emit"吗？

Question

假设我们正在节点上进行处理。等待处理的键是 2,1,3。
在预处理中，键将被排序为 1,2,3。
处理顺序为:

开始处理 1
处理 1 完成
开始处理 2
处理2完成
开始处理 3
处理3完成

在处理 key 1 时，我可以用 key 2 发出一些东西吗？在处理 key 2 时，将处理发出的东西。

我认为这与并行处理的概念没有冲突，因为同一节点上的键将按顺序处理。

Answer 1

不，因为分区步骤已经发生，所以您的 reduce 步骤的任何输出都将转到目标文件夹，而不是返回输入文件夹

分区输入 => reducer => 输出

您始终可以使用身份映射器和相同的 reducer 运行第二个 mapreduce 作业。