permissions - 运行作业时 Hadoop DFS 权限问题

Question

我收到以下权限错误，我不确定为什么 hadoop 会尝试写入此特定文件夹:

hadoop jar /usr/lib/hadoop/hadoop-*-examples.jar pi 2 100000
Number of Maps  = 2
Samples per Map = 100000
Wrote input for Map #0
Wrote input for Map #1
Starting Job
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=myuser, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

知道为什么它试图写入我的 hdfs 的根目录吗？

更新: 临时设置hdfs根目录(/)为777权限后，看到正在写入一个“/tmp”文件夹。我想一个选择是只创建一个具有开放权限的“/tmp”文件夹供所有人写入，但从安全的角度来看，如果将其写入用户文件夹(即/user/myuser/tmp)会更好

Answer 1

我能够通过以下设置使其正常工作:

<configuration>
    <property>
        <name>mapreduce.jobtracker.staging.root.dir</name>
        <value>/user</value>
    </property>

    #...

</configuration>

还需要重新启动 jobtracker 服务(特别感谢 Hadoop 邮件列表上的 Jeff 帮助我追踪问题!)