hadoop - 映射器将值传递给不同的映射器-缩减器

Question

我有两个阶段的 map-reduce hadoop 程序。 (映射器 1、 reducer 1、映射器 2、 reducer 2)。我可以将一些 mapper1 键值直接传递给 reducer1 并将其他一些键值直接传递给 mapper2 吗？

Answer 1

您可以让 mapper 为您希望 reducer1 处理的那些设置键值，而让那些转到 mapper2 的键值有一些任意的键名(让我们在类 Text.class 中任意说“TO_MAPPER_2”) .然后你的 reducer 代码在 if 语句中，这样它只在键不是“TO_MAPPER_2”时执行。这将确保您的值不会被 reducer 处理，并且将通过您用来将它们发送到那里的任何方法不变地到达 mapper2。