gpt4 book ai didi

hadoop - oozie 协调器未生成输出事件

转载 作者:可可西里 更新时间:2023-11-01 14:51:54 26 4
gpt4 key购买 nike

我的协调器应用成功地从输入事件中读取并在标称时间执行工作流,但是根本没有生成输出事件。

我尝试在没有完成标志的情况下设置输出事件,但没有成功。我做错了什么?

下面是我的 coordinator.xml 文件。

 <coordinator-app name="wf_scheduler" frequency="${coord:days(1)}"
start="2016-12-14T00:00Z" end="2016-12-19T00:00Z" timezone="IST"
xmlns="uri:oozie:coordinator:0.2">
<controls>
<timeout>30</timeout>
<concurrency>3</concurrency>
<execution>FIFO</execution>
<throttle>3</throttle>
</controls>
<datasets>
<dataset name="inp_logs" frequency="${coord:days(1)}"
initial-instance="2016-12-01T00:00Z" timezone="IST">
<uri-template>
/user/cloudera/inp_logs/${YEAR}_${MONTH}_${DAY}
</uri-template>
<done-flag></done-flag>
</dataset>
<dataset name="opt_logs" frequency="${coord:days(1)}"
initial-instance="2016-12-01T00:00Z" timezone="IST">
<uri-template>
/user/cloudera/opt_logs/${YEAR}_${MONTH}_${DAY}
</uri-template>
<done-flag>_trigger</done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="input" dataset="inp_logs">
<instance>${coord:current(0)}</instance>
</data-in>
</input-events>
<output-events>
<data-out name="output" dataset="opt_logs">
<instance>${coord:current(0)}</instance>
</data-out>
</output-events>
<action>
<workflow>
<app-path>${app_path}</app-path>
</workflow>
</action>
</coordinator-app>

最佳答案

好吧,我也有同样的问题。我连设空。我手动创建了 _SUCCESS 文件。我挖起来。在 Apache Oozie 书中找到:Hadoop 的工作流调度程序。但我不知道它是否有效。

不,输出事件中指定的文件不会由 Oozie 自动创建,您需要在 Oozie 工作流操作中创建这些文件。

输出事件配置用于向 Oozie 提供有关您的 Oozie 工作流操作将创建哪些文件的信息,Oozie 将在重新运行/重新处理协调器时使用这些文件来清理文件。

关于hadoop - oozie 协调器未生成输出事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41211563/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com