hadoop - 链接 Hadoop MapReduce 1.1.1 示例

Question

我是 Hadoop 的初学者，但在 Hadoop 1.1.1 中，我正在尝试执行 map -> reduce -> map -> reduce。我很难找到如何在 Java 中执行此操作的具体示例。我真的很好奇整个驱动程序方法会是什么样子。我目前正在使用 org.apache.hadoop.mapreduce 库(我认为这是最新的代码库)。

此外，如果没有必要，我宁愿不安装另一个库，如 Oozie。

Answer 1

我认为这可能对您有所帮助:http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx

您还可以查看 ChainMapper( http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html )，具体取决于您要实现的目标。不过，这仅适用于一个 reduce。如果你想专门去 map -> reduce -> map -> reduce，我会用我的第一个链接。