gpt4 book ai didi

hadoop - oozie pig Action 启动错误

转载 作者:行者123 更新时间:2023-12-02 22:04:14 25 4
gpt4 key购买 nike

我正在尝试做非常基本的oozie工作流程

当我给出命令时,出现以下错误。

user@ubuntu:~/surender$ oozie job -oozie http://localhost:11000/oozie /home/user/surender/oozie_demo/job.properties -run

错误:
 Error: E0501 : E0501: Could not perform authorization operation, Failed on local exception: java.io.EOFException; Host Details : local host is: "ubuntu/127.0.0.1"; destination host is: "localhost":8020;

我的oozie版本是4.0.0,我检查了是否启用了oozie Web控制台。

这就是创建oozie工作流程的方式

我创建了一个名为oozie_demo的目录,并在其中创建了两个文件
    1.workflow.xml
2.job.properties

我还创建了一个lib目录,并将Pig脚本放置在该lib目录中

working.xml
 <workflow-app xmlns="uri:oozie:workflow:0.2" name="pig-wf"> 
<start to="pig-node"/>
<action name="pig-node">
<pig>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${nameNode}/user/${wf:user()}/output/pig/simple_load"/>
</prepare>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
</configuration>
<script>simple_load.pig</script>
<param>INPUT=/user/${wf:user()}/inputfiles/records.txt</param>
<param>OUTPUT=/user/${wf:user()}//output/pig/simple_load</param>
</pig>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>Pig failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>

job.properties
    nameNode=hdfs://localhost:8020
jobTracker=localhost:8021
queueName=default
oozie_demo=oozie_demo
oozie.use.system.libpath=true
ozie.wf.application.path=${nameNode}/user/user/oozie_demo

我的 pig 脚本:
  records = load '/user/user/inputfiles/records.txt' USING PigStorage(',');

store records into '/user/user/output/pig/simple_load' using PigStorage(',');

有人可以帮我吗?我想知道出了什么问题?以及我该如何解决这个问题?

最佳答案

您能否检查Namenode是否在端口8020上启动并正在运行。

关于hadoop - oozie pig Action 启动错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35538900/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com