gpt4 book ai didi

hadoop - 并行运行 Oozie 操作

转载 作者:可可西里 更新时间:2023-11-01 14:43:55 27 4
gpt4 key购买 nike

我正在使用 Hue 中的工作流编辑器来开发 Oozie 工作流。有一些 Action 应该并行执行。

是否可以同时执行两个或多个 Action ?
如何在 Hue 中进行设置?

最佳答案

是的,这是可能的。在各种Oozie workflow nodes ,有两个控制节点forkjoin:

A fork node splits one path of execution into multiple concurrent paths of execution.

A join node waits until every concurrent execution path of a previous fork node arrives to it.

The fork and join nodes must be used in pairs. The join node assumes concurrent execution paths are children of the same fork node.

Hue 确实支持它,尽管它不是很直观 - 您可以在工作流上拖放操作,但不能对控制节点执行相同的操作。

要将一个执行路径拆分为两个并发路径,将一个操作拖到另一个上(例如,在下面的示例中,将 step_B 拖到 step_A 上) :

Oozie - make actions concurrent这将自动添加一个 fork 节点并在下面放置适当的操作:

Oozie - fork control node

关于hadoop - 并行运行 Oozie 操作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25988809/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com