gpt4 book ai didi

hadoop - 在旧数据集上启动oozie协调器

转载 作者:行者123 更新时间:2023-12-02 20:10:07 25 4
gpt4 key购买 nike

只有在昨天的数据集输入可用后,才能安排Oozie协调器运行今天的实例。它仅需要检查一个输入数据集,该输入数据集必须是旧数据集,例如1天前或2天前的数据集。不必等待今天的数据集输入。

我尝试使用下面的方法,在这里我在instance标记内使用了$ {coord:current(-1)},以便它可以检查昨天的数据,但这似乎不起作用。即使该信号在昨天的日期不可用,该作业也会在标称时间被解雇。

    <coordinator-app name="hello-coord" frequency="${coord:days(1)}"
start="2009-01-02T08:00Z" end="2009-01-04T08:00Z" timezone="America/Los_Angeles"
xmlns="uri:oozie:coordinator:0.1">
<datasets>
<dataset name="din" frequency="${coord:days(1)}"
initial-instance="2009-01-02T08:00Z" timezone="America/Los_Angeles">
<uri-template>${baseFsURI}/${YEAR}/${MONTH}/${DAY}</uri-template>
<done-flag>_SUCCESS</done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="input" dataset="din">
<instance>${coord:current(-1)}</instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path>${wf_app_path}</app-path>
</workflow>
</action>

最佳答案

<dataset>标记用于设置触发文件将出现在其中的文件夹。
<input-events>标记提供了从中计算文件夹参数(如${YEAR}${MONTH}${DAY})的时间。
<instance>${coord:current(-1)}</instance>表示给出的时间是-1天。

因此,在第一天,即“2009-01-02T08:00Z”,给<dataset>的时间是"2009-01-01T08:00Z",它早于initial-instance="2009-01-02T08:00Z"。执行初始实例之前的所有操作,而无需等待触发文件出现。

解决方法是更改​​initial-instance="2009-01-01T08:00Z"

关于hadoop - 在旧数据集上启动oozie协调器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17109997/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com