gpt4 book ai didi

hadoop - Hadoop-Oozie:检查现有的oozie工作流程是否正在运行

转载 作者:行者123 更新时间:2023-12-02 21:37:53 25 4
gpt4 key购买 nike

我有oozie协调员作业,运行时间为11:00 AM、12:30PM、4:00PM、7:00PM和9:30 PM。这些协调员工作的工作流程相同,但是它们在不同的时间运行,没有特定的频率。如果频率是相同的,我本可以通过一名协调员完成的。

我的问题是我们如何知道协调器作业仍在运行,并使其他协调器作业等待/休眠,直到现有的作业正在运行?我们可以通过oozie进行操作还是需要编写单独的oozie API / JavaScript或Shell脚本进行检查?

谢谢,
Asmath。

最佳答案

您可以通过使用协调器的<input-events>标记来同步不同协调器中工作流程的执行。

例如,您可以创建一个目录,例如

/some/hdfs/dir/coordA-status/SUCCESS-2016-01-26 

在工作流A每次成功运行结束时,由协调员A运行。

然后,您可以通过 <dataset><input-events>标记使该目录的存在成为协调器B运行的条件。

关于hadoop - Hadoop-Oozie:检查现有的oozie工作流程是否正在运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30819796/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com