Hadoop 映射器发出一个唯一的键。我可以在每个 map 之后执行 reducer 吗？

Question

我的映射器发出'uniq key' - '非常大的值(value)'对。

我的 reducer 不知道 key 是唯一的。因此，reducer 会等待所有映射器完成。

我尝试使用组合器，但这对我来说不是一个简单的解决方案，因为我的 reducer 非常复杂。

我的问题是如何在每个 map 之后执行 reducer ？不使用组合器。

Answer 1

如果您的 key 是唯一的，则无需减少它们。因此只需将 reducer 代码复制粘贴到 mapper 并将 reducer 编号设置为零。顺便说一句，有很多 map reduce 作业不需要 reduce 步骤，所以这并不奇怪。