java - 分层 MapReduce

Question

我想知道是否可以定义一个分层 MapReduce 作业？。换句话说，我想要一个 map-reduce 作业，在 mapper 阶段将调用不同的 MapReduce 作业。可能吗？您对如何操作有什么建议吗？

我想这样做是为了在我的程序中有更高级别的并行/分布。谢谢，阿里克。

Answer 1

Hadoop definitive guide book包含许多与 MapReduce 作业链相关的食谱，包括示例代码和详细说明。特别是名为“高级 API 用法”或类似内容的章节。

我个人成功地用几个 HBase 表替换了复杂的 map-reduce 作业，这些表用作带有手工制作的 TableInputFormat 扩展的源。结果是结合了源数据的输入格式，减少最少，因此作业被转换为单个映射器步骤。所以我建议你也往这个方向看。