java - Hadoop:0.20.203 中的链接作业

Question

我目前有一项任务需要在 Hadoop 中链接一些作业。我现在正在做的是我有两份工作。我的第一份工作有一个映射函数、一个组合器和一个缩减器。好吧，我还需要一个reduce阶段，所以我创建了第二个工作，它有一个简单的map任务，将前一个reducer的输出传递给最终的reducer。我发现这有点“愚蠢”，因为必须有一种方法来简单地链接它。此外，我认为 I/O 会以这种方式减少。

我使用的是 0.20.203 版本，我只找到使用 JobConf 的 ChainMapper 和 ChainReducer 的弃用示例。我发现了这些: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/lib/chain/ChainMapper.html http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/lib/chain/ChainReducer.html这似乎适用于 Job 类，而不适用于 203 中弃用的 JobConf，但在 203 中没有包含这些类的任何包。

Answer 1

可以考虑使用oozie .创建工作流会容易得多。