gpt4 book ai didi

hadoop - Sqoop失败,错误消息[java.lang.ClassNotFoundException:类org.apache.oozie.action.hadoop.SqoopMain未找到]

转载 作者:行者123 更新时间:2023-12-02 21:19:21 25 4
gpt4 key购买 nike

我试图通过创建oozie工作流,使用sqoop将mysql表导入hdfs。

我已经在oozie sharelib中复制了mysql连接器,即在

/user/{username}/share/lib/lib_20150914123648/sqoop/

我也复制了我的sqoop-import文件夹,其中包含job.properties和workflow.xml文件。

我可以通过引用 https://oozie.apache.org/docs/3.1.3-incubating/DG_Examples.html执行示例Mapreduce作业

我可以提交工作,但显示工作是工作被错误杀死
 Sqoop failed, error message[java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.SqoopMain not found]

这是我的job.properties文件
 nameNode=hdfs://localhost:9000
jobTracker=localhost:8032
queueName=default
examplesRoot=sqoop-import

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/app/sqoop

这是我的workflow.xml文件


<action name="sqoop-node">
<sqoop xmlns="uri:oozie:sqoop-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/sqoop"/>
<mkdir path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data"/>
</prepare>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<command>import --connect jdbc:mysql://localhost:3306/test --username root --password root --table user --target-dir /user/${wf:user()}/${examplesRoot}/output-data/sqoop -m 1</command>

</sqoop>
<ok to="end"/>
<error to="fail"/>
</action>

<kill name="fail">
<message>Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

然后我通过发出命令来启动工作
oozie job -oozie http://localhost:11000/oozie -config oozie-import/apps/sqoop/job.properties -run

谁能帮我解决问题。

最佳答案

将sqoop jar添加到sharelib后,不要忘记调用

oozie admin -sharelibupdate



通知oozie sharelib已更改。

关于hadoop - Sqoop失败,错误消息[java.lang.ClassNotFoundException:类org.apache.oozie.action.hadoop.SqoopMain未找到],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37864631/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com