hadoop - 如何在 hadoop-2.2 中的 oozie-4.0.1 中安排工作

Question

我正在 hadoop-2.2 中的 oozie-4.0.1 中调度一个简单的 java 程序

这是我的坐标属性:

 nameNode=hdfs://localhost:8020
 jobTracker=localhost:8032
 queueName=default

 oozie.use.system.libpath=true

 oozie.coord.application.path=${nameNode}/user/${user.name}/ooziesample
 workflowPath=${nameNode}/user/${user.name}/ooziesample

 startTime=2014-05-24T05:05Z
 endTime=2014-05-25T04:50Z
 frequency=1
 timezone=GMT+0530

这是我的 workflow.xml :

<workflow-app name="WorkflowJavaMainAction" xmlns="uri:oozie:workflow:0.1">
<start to="javaMainAction"/>
    <action name="javaMainAction">
            <java>
                    <job-tracker>${jobTracker}</job-tracker>
                    <name-node>${nameNode}</name-node>

                    <configuration>
                            <property>
                                    <name>mapred.job.queue.name</name>
                                    <value>${queueName}</value>
                            </property>
                    </configuration>
                    <main-class>javamapreduce.ooziesample</main-class>
            </java>
            <ok to="end"/>
            <error to="killJobAction"/>
    </action>
    <kill name="killJobAction">
        <message>"Killed job due to error: ${wf:errorMessage(wf:lastErrorNode())}"       </message>
    </kill>
<end name="end" />
</workflow-app>

这是我的坐标.xml:

<coordinator-app end="${endTime}" frequency="${frequency}" name="sample_update" start="${startTime}" timezone="${timezone}" xmlns="uri:oozie:coordinator:0.2">
   <controls>
   <timeout>5</timeout>
   <concurrency>1</concurrency>
   </controls>
   <action>
   <workflow>
   <app-path>${workflowPath}</app-path>
   </workflow>
   </action>
   </coordinator-app>

在运行我的 job.properties 文件时，它会进入运行状态，但它永远不会进入成功或任何其他状态。

我在我的日志文件中收到此错误:

2014-05-24 11:57:05,410 INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

任何人都可以帮助我......

Answer 1

对于这个错误，在oozie-site.xml文件中设置hadoop配置文件路径，因为oozie从hadoop中读取yarn-site.xml的配置文件

 <property>
    <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
    <value>*=/home/labuser/hadoop/etc/hadoop</value>
 </property>

之后使用以下命令启动位于 hadoop/sbin 中的作业历史服务器

 ./mr-jobhistory-daemon.sh start historyserver