hadoop - 启用kerberos后，historyserver无法读取日志

Question

我在群集上启用了Kerberos，它工作正常。但是由于某些问题，被映射的用户无法通过JobHistory服务器读取和显示日志。我检查作业历史记录服务器的日志，并给出访问错误为:

org.apache.hadoop.security.AccessControlException: Permission denied:user=mapred, access=READ_EXECUTE, inode="/user/history/done_intermediate/prakul":prakul:hadoop:drwxrwx---

如我们所见，目录可以访问hadoop组，而mapred在hadoop组中，即使这样它也无法读取日志。它为/ tmp / logs /文件夹提供了类似的错误，由于该错误导致资源管理器UI上没有显示日志。

我在所有机器上验证hadoop组在所有机器上包含映射的用户:

[cloudera]# id mapred uid=491(mapred) gid=489(mapred) groups=489(mapred),496(hadoop)

我还初始化了被映射的用户并尝试手动访问这些目录，但是即使具有770权限的文件夹也无法访问被映射的用户:

[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/prakul
ls: Permission denied: user=mapred, access=READ_EXECUTE, inode="/tmp/logs/prakul":prakul:hadoop:drwxrwx---

[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/
Found 8 items
drwxrwx--- - xyz hadoop 0 2016-06-14 19:19 /tmp/logs/xyz
drwxrwx--- - abc hadoop 0 2016-06-13 06:06 /tmp/logs/abc
drwxrwx--- - prakul hadoop 0 2016-06-10 04:47 /tmp/logs/prakul

[root@mn0 cloudera]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: mapred/mn0.eastus.cloudapp.azure.com@AD.COM
Valid starting Expires Service principal
06/27/16 01:07:32 06/27/16 11:07:32 krbtgt/AD.COM@AD.COM
renew until 07/04/16 01:07:32

如果我将777权限授予目录，则mapred能够通过UI和CLI读取和显示日志。

谁能知道这是Cloudera错误还是配置问题，由于哪一个被映射者即使在组级别具有完全权限也无法访问日志？

我正在使用启用了Kerberos的Cloudera 5.7。

提前致谢

Answer 1

我在AD服务器中添加了hadoop组，并使该组成为hdfs，yarn和mapred成员。之后，我可以查看日志。