作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在使用 Apache Oozie 4.3.0 和 Hadoop 2.7.3
我开发了一个非常简单的 Oozie 工作流,它只有一个 sqoop 操作来将系统事件导出到 MySQL 表。
<workflow-app name="WorkflowWithSqoopAction" xmlns="uri:oozie:workflow:0.1">
<start to="sqoopAction"/>
<action name="sqoopAction">
<sqoop xmlns="uri:oozie:sqoop-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<command>export --connect jdbc:mysql://localhost/airawat --username devUser --password myPwd --table eventsgranularreport --direct --enclosed-by '\"' --export-dir /user/hive/warehouse/eventsgranularreport </command>
</sqoop>
<ok to="end"/>
<error to="killJob"/>
</action>
<kill name="killJob">
<message>"Killed job due to error: ${wf:errorMessage(wf:lastErrorNode())}"</message>
</kill>
<end name="end" />
</workflow-app>
我将应用程序部署在 HDFS 中,如下所示:
hdfs dfs -ls -R /oozieProject | awk '{ print $8 }'
/oozieProject/workflowSqoopAction
/oozieProject/workflowSqoopAction/README.md
/oozieProject/workflowSqoopAction/job.properties
/oozieProject/workflowSqoopAction/workflow.xml
hdfs dfs -ls -d /oozieProject
drwxr-xr-x - sergio supergroup 0 2017-04-15 14:08 /oozieProject
我在 job.properties 中包含了以下配置:
#*****************************
# job.properties
#*****************************
nameNode=hdfs://localhost:9000
jobTracker=localhost:8032
queueName=default
mapreduce.job.user.name=sergio
user.name=sergio
oozie.libpath=${nameNode}/oozieProject/share/lib
oozie.use.system.libpath=true
oozie.wf.rerun.failnodes=true
oozieProjectRoot=${nameNode}/oozieProject
appPath=${oozieProjectRoot}/workflowSqoopAction
oozie.wf.application.path=${appPath}
然后我将作业发送到 Oozie 服务器并开始执行它:
oozie job -oozie http://localhost:11000/oozie -config /home/sergio/git/hadoop_samples/hadoop_examples/src/main/java/org/sanchez/sergio/hadoop_examples/oozie/workflowSqoopAction/job.properties -submit
oozie job -oozie http://localhost:11000/oozie -start 0000001-170415112256550-oozie-serg-W
不久之后在 Oozie 的 Web 控制台中看到工作失败:
sqoopAction中出现如下错误信息:
JA017: Could not lookup launched hadoop Job ID [job_local245204272_0008] which was associated with action [0000001-170415112256550-oozie-serg-W@sqoopAction]. Failing this action!
谁能指导我解决这个错误?
运行恶魔:
jps
2576
6130 ResourceManager
3267 DataNode
10102 JobHistoryServer
3129 NameNode
24650 Jps
6270 NodeManager
3470 SecondaryNameNode
4190 Bootstrap
最佳答案
您在 hadoop 中缺少一些配置属性。我也在使用 hadoop-2.7.3 和 Oozie-4.3,并且在过去 5 天遇到了同样的问题。
如前所述配置几个属性并在我的本地运行:
yarn 网站.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
mapred-site.xml:
<property>
<name>mapreduce.jobtracker.address</name>
<value>HOST:PORT</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>HOST:PORT</value>
</property>
<property>
<name>mapreduce.tasktracker.report.address</name>
<value>127.0.0.1:0</value>
</property>
<property>
<name>mapreduce.tasktracker.http.address</name>
<value>0.0.0.0:50060</value>
</property>
<property>
<name>mapreduce.job.queuename</name>
<value>default</value>
</property>
<property>
<name> mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
根据您的设置将属性值替换为实际值。现在重启 yarn、hadoop 和 Oozie。
祝你好运。
关于hadoop - 由于错误 JA017,Oozie 工作流失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43426691/
我有一个看起来像这样的 df: visits ={'someID':[111,111,111,222,222,222,333,333], 'Month':[1,3,5,1,2,
我是一名优秀的程序员,十分优秀!