hadoop - oozie:并行运行数百个作业

Question

最初我们有五个表要处理，所以我们为 5 个表创建了 fork，如下所示。但现在我们需要并行处理 125 个表。如果我 fork 所有 125 个表，workflow.xml越来越大，无法维持。如何配置工作流以并行处理所有 125 个表。

<start to="fork-966"/>
<fork name="fork-966">
    <path start="table1_sqoop" />
    <path start="table2_sqoop" />
    <path start="table3_sqoop" />
    <path start="table4_sqoop" />
    <path start="table5_sqoop" />
</fork>

帮助表示赞赏。

Answer 1

听起来像 125 可能不是极限....

此外，如果您需要阅读 125 个表格，我建议您重新考虑您的设计。

对于您当前的问题，您可以执行以下操作之一:

叉125次

包括子工作流程。这可以是参数'

创建运行 125 个工作流的包，因此您只需编写一次 wf'，并且包可以重新运行 125 次。此外，如果一个失败，其余的仍在运行

再一次 - 我认为你需要重新考虑你的设计