hadoop - map->map->reduce->reduce->最终输出

Question

最近我读了一篇论文，提出了从 DNA 数据中挖掘最大连续模式的算法。提议的方法听起来很有趣，它使用了以下 MapReduce 模型。 map -> map ->减少->减少。也就是说，执行第一个映射阶段并将其输出输入到第二个阶段映射。第二阶段映射的输出是第一阶段减少的输入。第一阶段reduce的输出作为第二阶段reduce的输入，最后将结果flush到HDFS中。尽管这似乎是一种有趣的方法，但该论文并未提及他们是如何实现的。我的问题是，您如何实现这种 MapReduce 链接？

Answer 1

据我所知，在 Hadoop 中，您目前无法执行此操作。

一种方法是使用 ChainMapper做 map->map->reduce 部分。然后，将这个作业的结果发送给另一个作业，并将映射器设置为IdentityMapper。以及你拥有的第二阶段 reducer 的 reducer 。