hadoop - HDFS 上的文件权限

Question

我找到了很多指导用户如何在 HDFS 上“创建用户/组”的教程。我想知道“所有者”或“组”在 HDFS 上下文中的含义。

此外，当文件在 HDFS 上时，谁是文件的所有者或组用户？ Some消息人士称它是 hdfs 本身，而 some说它是客户端进程的用户。

我想知道有一个明确的方法来理解和修复 permission denied 错误。

Answer 1

如第一个链接所述

A lot of the administrative HDFS commands need to be run as the “hdfs” OS user, which is the default HDFS super user

默认的 super 用户通常是hdfs，但不一定。

... there’s no fixed super user for Hadoop. The system super user for Hadoop is simply the operating system user that starts the NameNode. The HDFS super user doesn’t have to be the root user of the NameNode host

HDFS 中没有真正的“用户/组”。默认情况下，它都是来自本地操作系统用户的字符串。 Which is overridable by any user .没有 Kerberos，Hadoop 绝对没有真正的授权。

如果您启用权限，则 hdfs dfs -ls 和 hdfs dfs -getfacl 会显示文件权限。 hdfs dfs -chown 和 hdfs dfs -chmod 更改它们。

您创建的任何 HDFS 用户帐户都应该作为 OS(或 PAM 或 LDAP)用户存在于名称节点上，至少任何权限才能成功获得 HDFS 客户端的确认。