hadoop - Oozie:oozie 是否生成输出事件？

Question

在 oozie 中，input-events 非常简单，如果指定的文件/文件夹不存在，协调器作业将保持在 WAITING 状态。但我无法理解 output-events 的作用。

根据我的理解，在 output-events 标签中指定的文件/文件夹应该由 oozie 创建，以防所有指定的操作都成功。但那不会发生。我也找不到任何相关日志。文档也不清楚这一点。

那么，问题是，Oozie 是否真的创建了 output-events 中指定的文件/文件夹？或者它只是提到这些特定的文件/文件夹是在工作流程中创建的，创建的责任在工作上，而不是在 Oozie 上？

相关代码见https://gist.github.com/venkateshshukla/de0dc395797a7ffba153

Answer 1

Oozie Coordinator 的官方 Oozie 文档对 output-events 的确切用途不是很清楚。元素。然而，《Apache Oozie: The Workflow Scheduler for Hadoop》一书提到了以下内容:

During reprocessing of a coordinator, Oozie tries to help the retry attempt by cleaning up the output directories by default. For this, it uses the <output-events> specification in the coordinator XML to remove the old output before running the new attempt. Users can override this default behavior using the –noCleanup option.

所以，总结一下:

• 否，output-events 中指定的文件不是由 Oozie 自动创建的，您需要在 Oozie 工作流操作中创建这些文件。
• output-events配置用于向 Oozie 提供关于您的 Oozie 工作流操作将创建哪些文件的信息，Oozie 将在重新运行/重新处理协调器时使用这些文件来清理文件。