gpt4 book ai didi

r - rmr.options中的HDFS临时目录

转载 作者:行者123 更新时间:2023-12-02 21:46:06 24 4
gpt4 key购买 nike

我是Hadoop的新手,所以如果问题很愚蠢,请问我。我有一个本地单节点群集。
我正在尝试在RHadoop中执行一个简单的MapReduce作业,并且收到以下消息:

> wordcount('/data/complete_works_of_shakespeare.txt')
Error creating temp dir in hadoop.tmp.dir /app/hadoop/tmp due to Permission denied
Show Traceback

Rerun with Debug
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :
hadoop streaming failed with error code 255 Also warnings:
1: In rmr.options("backend") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
2: In rmr.options("hdfs.tempdir") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
3: In rmr.options("backend") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
4: In rmr.options("backend.parameters") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

如何设置所有这些选项? hdfs.tempdir的路径应如何?
我想将temp目录设置为(如果我正确理解R想要的东西):
 hduser@nina:~$ hadoop fs -ls /
14/08/10 12:52:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 6 items
...
drwxr-xr-x - hduser supergroup 0 2014-08-10 00:04 /temp

顺便说一句我已经尝试过
rmr.options(backend="hadoop")
NULL
Warning:
In rmr.options(backend = "hadoop") :
Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

请帮忙。非常感谢。

UPD:

还尝试了:
 hduser@nina:~$ sudo chmod -R 777 '/app/hadoop' 
hduser@nina:~$ sudo chmod -R 777 '/tmp'

无济于事。

最佳答案

验证您是否对app / hadoop目录具有创建文件夹的权限。在目录上尝试chown,例如:

sudo chown <userid> <directory_path>

关于r - rmr.options中的HDFS临时目录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25227268/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com