个人中心
gpt4 book ai didi

java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127

转载 作者：行者123 更新时间：2023-12-02 20:32:02 25 4
gpt4 key购买 nike

我正在尝试在自己的Hadoop cluser上运行它。我使用以下命令运行该作业。

hadoop jar hadoop-streaming-3.1.0.jar -mapper mapper.py -reducer reducer.py -file mapper.py -file reducer.py -input wiki.xml -output output4

但是出现以下错误!

2018-10-20 16:05:50,021 WARN流.StreamJob:-file选项已弃用，请改用通用选项-files。
packageJobJar:[mapper.py，reducer.py，/ tmp / hadoop-unjar707072106784045009 /] [] /tmp/streamjob4878270244056389381.jar tmpDir = null
2018-10-20 16:05:51,845 INFO客户端.RMProxy:在/127.0.0.1:8032连接到ResourceManager
2018-10-20 16:05:52,512 INFO客户端.RMProxy:在/127.0.0.1:8032连接到ResourceManager
2018-10-20 16:05:53,503信息mapreduce.JobResourceUploader:禁用路径的擦除编码:/tmp/hadoop-yarn/staging/anubhav/.staging/job_1540029454250_0014
2018-10-20 16:05:56,044信息mapred.FileInputFormat:要处理的输入文件总数:1
2018-10-20 16:05:56,431信息mapreduce.JobSubmitter:分割数:2
2018-10-20 16:05:56,496信息Configuration.deprecation:不推荐使用yarn.resourcemanager.system-metrics-publisher.enabled。相反，请使用yarn.system-metrics-publisher.enabled
2018-10-20 16:05:56,686信息mapreduce.JobSubmitter:为工作提交 token :job_1540029454250_0014
2018-10-20 16:05:56,688信息mapreduce.JobSubmitter:使用 token 执行:[]
2018-10-20 16:05:57,125 INFO conf.Configuration:找不到resource-types.xml
2018-10-20 16:05:57,125信息资源.ResourceUtils:无法找到'resource-types.xml'。
2018-10-20 16:05:57,550信息impl.YarnClientImpl:提交的应用程序application_1540029454250_0014
2018-10-20 16:05:57,627信息mapreduce。工作:跟踪工作的网址:http:// anubhav-Inspiron-3542:8088 / proxy / application_1540029454250_0014 /
2018-10-20 16:05:57,629信息mapreduce。工作:正在运行的工作:job_1540029454250_0014
2018-10-20 16:06:07,874 INFO mapreduce.Job:以 super 模式运行的Job job_1540029454250_0014:false
2018-10-20 16:06:07,890信息mapreduce。工作: map 0％减少0％
2018-10-20 16:06:16,052信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_0，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:16,079 INFO mapreduce.Job:任务ID:try_1540029454250_0014_m_000001_0，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:26,193信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_1，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:27,203信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000001_1，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:37,310信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_2，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:37,314信息mapreduce。职位:任务ID:try_1540029454250_0014_m_000001_2，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:49,429信息mapreduce。工作: map 100％减少100％
2018-10-20 16:06:51,458 INFO mapreduce.Job:Job job_1540029454250_0014因状态失败而失败，原因是:任务失败task_1540029454250_0014_m_000000
由于任务失败，作业失败。 failedMaps:1 failedReduces:0 KilledMaps:0 KilledReduces:0

2018-10-20 16:06:51,571 INFO mapreduce。工作:计数器:14
工作柜台
失败的 map task = 7
杀死 map task = 1
杀死 reduce task = 1
启动的 map task = 8
其他本地 map task = 6
数据局部 map task = 2
所有 map 在占用的插槽中花费的总时间(ms)= 105898
所有设备花费的总时间减少，占用的时隙(ms)= 0
所有 map task 花费的总时间(ms)= 52949
所有 map task 花费的总vcore-毫秒数= 52949
所有 map task 花费的总兆字节/毫秒= 162659328
Map-Reduce框架
花费的CPU时间(ms)= 0
物理内存(字节)快照= 0
虚拟内存(字节)快照= 0
2018-10-20 16:06:51,571错误stream.StreamJob:作业不成功!
流命令失败!

我也加了
#! /usr/bin/python在我的两个文件mapper.py和reducer.py的开头

最佳答案

最后我通过改变解决了这个问题

#! /usr/bin/python

至 
#!/usr/bin/env python

关于java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52904865/

25 4 0
文章推荐： docker - Docker for SQL Server 2012容器支持
文章推荐： angularjs - 为什么 Angular $http 提供 headersGetter 而不仅仅是 headers？
文章推荐： vba - 从函数返回工作簿对象
文章推荐： nginx - 如何配置macOS防火墙以访问Docker Nginx容器？
行者123
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com