hadoop - 输入条件以使用Oozie执行协调器 Action

Question

我是oozie的新手。我想将协调器配置为仅在“输入”文件夹中显示四个文件时才执行。我在oozie文档中进行了一些搜索，发现可以将Input-event与数据集一起使用。

  <datasets>
    <dataset name="dinput" frequency="${coord:days(1)}"
             initial-instance="${start_date}" timezone="UTC">
      <uri-template>myInputFolder</uri-template>
      <done-flag></done-flag>
    </dataset>
  </datasets>
  <input-events>
    <data-in name="input" dataset="dinput">
      <instance>${coord:current(0)}</instance>
    </data-in>
  </input-events> 

有人可以指导我做到这一点吗？

Answer 1

Oozie的<dataset>和<input-events>标记的目的是处理常见的情况，即数据以特定的间隔进入并落入按日期分区的目录结构中。那是Oozie最擅长的地方。

如果这不适合您的用例，我的建议是编写一些代码来检查您的文件，并使用shell或java操作类型在Oozie操作中运行它。我认为，如果您的文件不存在，此操作可能会向Oozie发送失败代码以暂停工作流，并且此操作应先于工作流的实际逻辑。