hadoop - 在 Oozie 中将作业调度为文件触发器

Question

使用 oozie 我们可以在 hadoop 中提交作业，是否可以通过文件可用性触发作业提交。例如，将文件成功复制到 hdfs 后，Oozie 必须提交作业。这可能吗？

Answer 1

使用数据集中的“完成标志”标签。喜欢

<datasets>
    <dataset name="dataset1" frequency="${coord:hours(1)}"
             initial-instance="${startTime}" timezone="UTC">
      <uri-template>
        ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
      </uri-template>
      <done-flag>_SUCCESS</done-flag>
    </dataset>

</datasets>

如果完成标志设置为空，那么 Coordinator 会查找目录本身是否存在。如果 _SUCCESS(或标记中指定的任何文件名)文件存在于您的目录中，则协调器将继续进行。

有关详细信息，请参阅 - https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html