java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127-6ren

java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127

转载作者：行者123 更新时间：2023-12-02 20:32:02

我正在尝试在自己的Hadoop cluser上运行它。我使用以下命令运行该作业。

hadoop jar hadoop-streaming-3.1.0.jar -mapper mapper.py -reducer reducer.py -file mapper.py -file reducer.py -input wiki.xml -output output4

但是出现以下错误!

2018-10-20 16:05:50,021 WARN流.StreamJob:-file选项已弃用，请改用通用选项-files。
packageJobJar:[mapper.py，reducer.py，/ tmp / hadoop-unjar707072106784045009 /] [] /tmp/streamjob4878270244056389381.jar tmpDir = null
2018-10-20 16:05:51,845 INFO客户端.RMProxy:在/127.0.0.1:8032连接到ResourceManager
2018-10-20 16:05:52,512 INFO客户端.RMProxy:在/127.0.0.1:8032连接到ResourceManager
2018-10-20 16:05:53,503信息mapreduce.JobResourceUploader:禁用路径的擦除编码:/tmp/hadoop-yarn/staging/anubhav/.staging/job_1540029454250_0014
2018-10-20 16:05:56,044信息mapred.FileInputFormat:要处理的输入文件总数:1
2018-10-20 16:05:56,431信息mapreduce.JobSubmitter:分割数:2
2018-10-20 16:05:56,496信息Configuration.deprecation:不推荐使用yarn.resourcemanager.system-metrics-publisher.enabled。相反，请使用yarn.system-metrics-publisher.enabled
2018-10-20 16:05:56,686信息mapreduce.JobSubmitter:为工作提交 token :job_1540029454250_0014
2018-10-20 16:05:56,688信息mapreduce.JobSubmitter:使用 token 执行:[]
2018-10-20 16:05:57,125 INFO conf.Configuration:找不到resource-types.xml
2018-10-20 16:05:57,125信息资源.ResourceUtils:无法找到'resource-types.xml'。
2018-10-20 16:05:57,550信息impl.YarnClientImpl:提交的应用程序application_1540029454250_0014
2018-10-20 16:05:57,627信息mapreduce。工作:跟踪工作的网址:http:// anubhav-Inspiron-3542:8088 / proxy / application_1540029454250_0014 /
2018-10-20 16:05:57,629信息mapreduce。工作:正在运行的工作:job_1540029454250_0014
2018-10-20 16:06:07,874 INFO mapreduce.Job:以 super 模式运行的Job job_1540029454250_0014:false
2018-10-20 16:06:07,890信息mapreduce。工作: map 0％减少0％
2018-10-20 16:06:16,052信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_0，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:16,079 INFO mapreduce.Job:任务ID:try_1540029454250_0014_m_000001_0，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:26,193信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_1，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:27,203信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000001_1，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:37,310信息mapreduce。工作:任务ID:try_1540029454250_0014_m_000000_2，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:37,314信息mapreduce。职位:任务ID:try_1540029454250_0014_m_000001_2，状态:FAILED
错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败，代码为127
在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:538)
在org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
在org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:174)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

2018-10-20 16:06:49,429信息mapreduce。工作: map 100％减少100％
2018-10-20 16:06:51,458 INFO mapreduce.Job:Job job_1540029454250_0014因状态失败而失败，原因是:任务失败task_1540029454250_0014_m_000000
由于任务失败，作业失败。 failedMaps:1 failedReduces:0 KilledMaps:0 KilledReduces:0

2018-10-20 16:06:51,571 INFO mapreduce。工作:计数器:14
工作柜台
失败的 map task = 7
杀死 map task = 1
杀死 reduce task = 1
启动的 map task = 8
其他本地 map task = 6
数据局部 map task = 2
所有 map 在占用的插槽中花费的总时间(ms)= 105898
所有设备花费的总时间减少，占用的时隙(ms)= 0
所有 map task 花费的总时间(ms)= 52949
所有 map task 花费的总vcore-毫秒数= 52949
所有 map task 花费的总兆字节/毫秒= 162659328
Map-Reduce框架
花费的CPU时间(ms)= 0
物理内存(字节)快照= 0
虚拟内存(字节)快照= 0
2018-10-20 16:06:51,571错误stream.StreamJob:作业不成功!
流命令失败!

我也加了
#! /usr/bin/python在我的两个文件mapper.py和reducer.py的开头

最佳答案

最后我通过改变解决了这个问题

#! /usr/bin/python

至

#!/usr/bin/env python

关于java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52904865/

文章推荐： docker - Docker for SQL Server 2012容器支持

文章推荐： vba - 从函数返回工作簿对象

文章推荐： nginx - 如何配置macOS防火墙以访问Docker Nginx容器？

linux - 如何通过 STIME 终止 linux 进程(悬空 svnserve 进程)
我是 Linux 的新手，并且继承了保持我们的单一 Linux 服务器运行的职责。这是我们的SVN服务器，所以比较重要。原来在我之前维护它的人有一个 cron 任务，当有太多 svnserve 进程
Nodejs极简入门教程（三）：进程
Node 虽然自身存在多个线程，但是运行在 v8 上的 JavaScript 是单线程的。Node 的 child_process 模块用于创建子进程，我们可以通过子进程充分利用 CPU。范例：
ubuntu - Jenkins 进程
Jenkins 有这么多进程处于事件状态是否正常？我检查了我的设置，我只配置了 2 个“执行者”... htop http://d.pr/i/RZzG+ 最佳答案您不仅要限制 Master 中的执
带管道的 Scala 进程
我正在尝试在 scala 中运行这样的 bash 命令: cat "example file.txt" | grep abc Scala 有一个特殊的流程管道语法，所以这是我的第一个方法: val f
循环和文件输出中的 Java 进程
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
multithreading - 进程、线程和并发编程
我需要一些帮助来理解并发编程的基础知识。事实上，我读得越多，就越感到困惑。因此，我理解进程是顺序执行的程序的一个实例，并且它可以由一个或多个线程组成。在单核CPU中，一次只能执行一个线程，而在多核CP
testing - 在集成测试期间如何运行服务器(进程)？
我的问题是在上一次集成测试后服务器进程没有关闭。在integration.rs中，我有: lazy_static! { static ref SERVER: Arc> = {
Scala 进程 - 捕获标准输出和退出代码
我正在使用 Scala scala.sys.process图书馆。我知道我可以用 ! 捕获退出代码和输出 !!但是如果我想同时捕获两者呢？我看过这个答案 https://stackoverflow
c++ - 使用共享库同步两个C++进程
我正在开发一个C++类(MyClass.cpp)，将其编译为动态共享库(MyClass.so)。同一台Linux计算机上运行的两个不同应用程序将使用此共享库。它们是两个不同的应用程序。它不是多线程
c - 查找UDP数据包的源IP/进程
我在我的 C 程序中使用 recvfrom() 从多个客户端接收 UDP 数据包，这些客户端可以使用自定义用户名登录。一旦他们登录，我希望他们的用户名与唯一的客户端进程配对，这样服务器就可以通过数据包
C、进程、fork
如何更改程序，以便函数 function_delayed_1 和 function_delayed_2 仅同时执行一次: int main(int argc, char *argv[]) {
c - 操作系统 - 进程
考虑这两个程序: //in #define MAX 50 int main(int argc, char* argv[]) { int *count; int fd=shm
linux - 如何同时打开三个终端(进程)
请告诉我如何一次打开三个终端，这样我的项目就可以轻松执行，而不必打开三个终端三次然后运行三个exe文件。请问我们如何通过脚本来做到这一点，即打开三个终端并执行三个 exe 文件。最佳答案在后台运行
远程计算机上的 C# 进程
我编写了一个监控服务来跟踪一组进程，并在服务行为异常、内存使用率高、超出 CPU 运行时间等时发出通知。这在我的本地计算机上运行良好，但我需要它指向远程机器并获取这些机器上的进程信息。我的方法，在
c# - 进程、线程和线程池
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。想改进这个问题？将问题更新为 on-topic对于堆栈溢出。 8年前关闭。 Improve this qu
c# - 后台线程/进程
我有一个允许用户上传文件的应用程序。上传完成后，必须在服务器上完成许多处理步骤(解压、存储、验证等...)，因此稍后会在一切完成后通过电子邮件通知用户。我见过很多示例，其中 System.Compo
linux - 什么时候将虚拟地址分配给程序/进程？
这个问题对很多人来说可能听起来很愚蠢，但我想对这个话题有一个清晰的理解。例如:当我们在 linux(ubuntu, x86) 上构建一个 C 程序时，它会在成功编译和链接过程后生成 a.out。 a.
java - 在linux中如何识别一个进程是java还是c或c++进程？
ps -eaf | grep java 命令在这里不是识别进程是否是 java 进程的解决方案，因为执行此命令后我的许多 java 进程未在输出中列出。最佳答案简答(希望有人写一个更全面的): 获
内核与系统中的 Windows 进程
我有几个与内核态和用户态的 Windows 进程相关的问题。如果我有一个 hello world 应用程序和一个暴露新系统调用 foo() 的 hello world 驱动程序，我很好奇在内核模式下
具有不受信任完整性级别的 Windows 进程
我找不到很多关于 Windows 中不受信任的完整性级别的信息，对此有一些疑问: 是否有不受信任的完整性级别进程可以创建命名对象的地方？ (互斥锁、事件等) 不受信任的完整性级别进程是否应该能够打开一

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

java - 运行hadoop流和mapreduce作业:PipeMapRed.waitOutputThreads():子进程失败，代码为127