oozie - 如何使用 oozie 安排 sqoop 操作

Question

我是 Oozie 的新手，只是想知道 - 如何使用 Oozie 安排 sqoop 作业。我知道可以将 sqoop 操作添加为 Oozie 工作流程的一部分。但是我怎样才能安排一个 sqoop 操作并让它每天自动运行一次，就像每 2 分钟或晚上 8 点一样(只是谎言一个 cron 工作)？

Answer 1

您需要创建带有开始、结束和频率的 coordinator.xml 文件。这是一个例子

<coordinator-app name="example-coord" xmlns="uri:oozie:coordinator:0.2"

             frequency="${coord:days(7)}"
             start="${start}"
             end=  "${end}"

             timezone="America/New_York">

  <controls>
    <timeout>5</timeout>
  </controls>

  <action>
    <workflow>
        <app-path>${wf_application_path}</app-path>
    </workflow>
  </action>
</coordinator-app>

然后像这样创建 coordinator.properties 文件:

host=namenode01
nameNode=hdfs://${host}:8020

wf_application_path=${nameNode}/oozie/deployments/example
oozie.coord.application.path=${wf_application_path}

start=2013-07-13T07:00Z
end=2013-09-31T23:59Z

将您的 coordinator.xml 文件上传到 hdfs，然后使用类似的内容提交您的协调器作业

oozie job -config coordinator.properties -run

查看文档 http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html它包含一些示例。