- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个R脚本,可以在R Colsole中很好地工作,但是当我在Hadoop流中运行时,它在Map阶段失败并出现以下错误。
我有Hadoop Streaming命令:
/home/Bibhu/hadoop-0.20.2/bin/hadoop jar \
/home/Bibhu/hadoop-0.20.2/contrib/streaming/*.jar \
-input hdfs://localhost:54310/user/Bibhu/BookTE1.csv \
-output outsid -mapper `pwd`/code1.sh
Loading required package: class
Error in read.table(file = file, header = header, sep = sep, quote = quote, :
no lines available in input
Calls: read.csv -> read.table
Execution halted
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:572)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:136)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
2013-07-03 19:32:36,080 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: Initializing JVM Metrics with processName=MAP, sessionId=
2013-07-03 19:32:36,654 INFO org.apache.hadoop.mapred.MapTask: numReduceTasks: 1
2013-07-03 19:32:36,675 INFO org.apache.hadoop.mapred.MapTask: io.sort.mb = 100
2013-07-03 19:32:36,835 INFO org.apache.hadoop.mapred.MapTask: data buffer = 79691776/99614720
2013-07-03 19:32:36,835 INFO org.apache.hadoop.mapred.MapTask: record buffer = 262144/327680
2013-07-03 19:32:36,899 INFO org.apache.hadoop.streaming.PipeMapRed: PipeMapRed exec [/home/Bibhu/Downloads/SentimentAnalysis/Sid/smallFile/code1.sh]
2013-07-03 19:32:37,256 INFO org.apache.hadoop.streaming.PipeMapRed: Records R/W=0/1
2013-07-03 19:32:38,509 INFO org.apache.hadoop.streaming.PipeMapRed: MRErrorThread done
2013-07-03 19:32:38,509 INFO org.apache.hadoop.streaming.PipeMapRed: PipeMapRed failed!
2013-07-03 19:32:38,557 WARN org.apache.hadoop.mapred.TaskTracker: Error running child
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:572)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:136)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
2013-07-03 19:32:38,631 INFO org.apache.hadoop.mapred.TaskRunner: Runnning cleanup for the task
最佳答案
hadoop-streaming-1.0.4.jar
一样的完整版本关于r - 使用hadoop流运行R脚本作业失败:PipeMapRed.waitOutputThreads():子进程失败,代码为1,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17450816/
我有一个R脚本,可以在R Colsole中很好地工作,但是当我在Hadoop流中运行时,它在Map阶段失败并出现以下错误。 我有Hadoop Streaming命令: /home/Bibhu/hado
我正在尝试在自己的Hadoop cluser上运行它。我使用以下命令运行该作业。 hadoop jar hadoop-streaming-3.1.0.jar -mapper mapper.py -re
当我运行 hadoop 时,我得到了很多信息按摩。所以我要删除无用的,比如INFO streaming.PipeMapRed、INFO mapred.MapTask等。并保留最重要的——INFO ma
最近,我想解析网站,然后使用BeautifulSoup过滤我想要的内容并写入hdfs中的csv文件中。 现在,我正在使用 BeautifulSoup 过滤网站代码。 我想使用mapreduce方法来执
我在hadoop流中运行简单的python代码时遇到问题。 我尝试了以前的帖子中的所有建议,但都遇到了类似的错误,但仍然有问题。 添加了usr / bin / env python chmod a +
我正在尝试在 Hadoop 环境中执行 NLTK。以下是我用于执行的命令。 bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming
嘿,我是大数据世界的新手。我遇到了这个教程 http://musicmachinery.com/2011/09/04/how-to-process-a-million-songs-in-20-minu
我正在尝试运行一个简单的mapreduce代码,仅使用mapper.py进行读取,获取mapper.py的输出,并通过reducer.py进行读取。这段代码在本地计算机上有效,但是当我在aws-emr
出于某些调试目的,我正在现有的工作 R 脚本中添加打印语句。 print("Hello") 我在使用 Hadoop 流式处理执行此代码时收到 Broken pipe 异常。如果我再次删除此打印件,它会
我在 Hadoop 上使用 Python mrjob 库时遇到问题。 我搜索了这个错误,但我不知道解决方案。 我做了 chmod +x pythonFile, 插入.py文件的顶部 #!/usr/bi
我是一名优秀的程序员,十分优秀!