java - 一个 mapreduce 程序的输出作为另一个 mapreduce 程序的输入

Question

我正在尝试一个简单的示例，其中一个 MapReduce 作业的输出应该是另一个 MapReduce 作业的输入。

流程应该是这样的:Mapper1 --> Reducer1 --> Mapper2 --> Reducer2 (Mapper1的输出必须是Reducer1的输入，Reducer1的输出必须是输入Mapper2 的输出。Mapper2 的输出必须是 Reducer2 的输入。Reducer2 的输出必须存储在输出文件中)。

如何将多个 Mappers 和 Reducers 添加到我的程序中，以便像上面那样保持流程？

我需要使用 Chain Mappers 还是 Chain Reducers？如果可以，我该如何使用它们？

Answer 1

您需要为此实现两个单独的 MapReduce 作业。第一个作业的结果需要写入一些持久存储(如 HDFS)，并由第二个作业读取。 SequenceOutputFormat/InputFormat 通常用于此。两个 MapReduce 作业都可以从同一个驱动程序中执行。