hadoop - 如何为下一个作业共享或存储上一个 MapReduce 作业的状态？

Question

我想在 mapreduce 作业结束时存储/更改一个标志(这会偶尔更改)。该作业将计划每 30 分钟运行一次。所以一开始它会存储标志，然后当作业中的验证失败时它会改变标志(我想为下一个作业保留这个状态)，它将在每次作业执行时检查。我不太确定存储此标志的最佳方式是什么？

Answer 1

要链接 MapReduce 作业，请查看:https://developer.yahoo.com/hadoop/tutorial/module4.html#chaining但是，如果您需要作业每 x 分钟运行一次，请尝试使用 Oozie 来安排它们。如果您使用的是 AWS，请查看 DataPipeline，它完全可以满足您的需求。