gpt4 book ai didi

r - 库中的错误(功能): there is no package called ‘functional’ - While running MR using rmr2

转载 作者:可可西里 更新时间:2023-11-01 14:26:10 24 4
gpt4 key购买 nike

我正在尝试在单节点 Hadoop 集群中使用 rmr2 运行一个简单的 MR 程序。这里是设置的环境

Ubuntu 12.04(32 位)
R(Ubuntu自带2.14.1,所以更新到3.0.2)
here 安装了最新的 rmr2 和 rhdfs以及对应的依赖
Hadoop 1.2.1

现在我正在尝试运行一个简单的 MR 程序作为

Sys.setenv(HADOOP_HOME="/home/training/Installations/hadoop-1.2.1")
Sys.setenv(HADOOP_CMD="/home/training/Installations/hadoop-1.2.1/bin/hadoop")

library(rmr2)
library(rhdfs)

ints = to.dfs(1:100)
calc = mapreduce(input = ints, map = function(k, v) cbind(v, 2*v))
from.dfs(calc)

mapreduce 作业失败并在 hadoop-1.2.1/logs/userlogs/job_201310091055_0001/attempt_201310091055_0001_m_000000_0/stderr 中显示以下错误消息

Error in library(functional) : there is no package called ‘functional’  
Execution halted
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)

但是,sessionInfo()显示功能包已经加载

> sessionInfo()
R version 3.0.2 (2013-09-25)
Platform: i686-pc-linux-gnu (32-bit)

>locale:
[1] LC_CTYPE=en_IN LC_NUMERIC=C LC_TIME=en_IN
[4] LC_COLLATE=en_IN LC_MONETARY=en_IN LC_MESSAGES=en_IN
[7] LC_PAPER=en_IN LC_NAME=C LC_ADDRESS=C
[10] LC_TELEPHONE=C LC_MEASUREMENT=en_IN LC_IDENTIFICATION=C

>attached base packages:
[1] stats graphics grDevices utils datasets methods base

>other attached packages:
[1] rhdfs_1.0.6 rJava_0.9-4 rmr2_2.3.0 reshape2_1.2.2 plyr_1.8
[6] stringr_0.6.2 **functional_0.4** digest_0.6.3 bitops_1.0-6 RJSONIO_1.0-3
[11] Rcpp_0.10.5

更新:我能够运行 R MR 作业从 STDIO 读取和写入,而无需使用 rmr2 和 rhdfs 库,如前所述 here .所以,目前我的猜测是问题出在 rmr2 和 rhdfs 包上。

如何解决这个问题?

最佳答案

在系统目录而不是自定义目录 (~/R/x86_64-pc-linux-gnu-library/3.0) 中安装 rmr2/rhdfs 的依赖项。这可以通过以 sudo 运行 R 然后安装依赖项来完成。感谢Antonio在 RHadoop 论坛中寻求帮助。

关于r - 库中的错误(功能): there is no package called ‘functional’ - While running MR using rmr2,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19269192/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com