Hadoop 名称节点 - 没有可用于匿名用户的组

Question

我正在检查我的名称节点的日志，我发现了这个:

2016-06-04 03:09:28,843 INFO  BlockStateChange (BlockManager.java:computeReplicationWorkForBlocks(1527)) - BLOCK* neededReplications = 0, pendingReplications = 0.
2016-06-04 03:09:28,960 WARN  security.UserGroupInformation (UserGroupInformation.java:getGroupNames(1521)) - No groups available for user anonymous
... (x8)
2016-06-04 03:09:29,119 WARN  security.UserGroupInformation (UserGroupInformation.java:getGroupNames(1521)) - No groups available for user anonymous
2016-06-04 03:09:29,945 INFO  hdfs.StateChange (FSNamesystem.java:completeFile(3503)) - DIR* completeFile: /spark-history/.abde470b-daaa-4dc7-9097-35d778fe3a5a is closed by DFSClient_NONMAPREDUCE_1292395454_1

此时，集群上没有任何处理，也没有人在处理它。此警告随机出现在日志中。

经过进一步调查，没有创建匿名用户，我什么也没发现..

你有什么想法要看哪里吗？这个用户“匿名”是什么？谢谢。

Answer 1

此警告通常意味着您的用户未在 Hadoop 集群中所有节点的主机操作系统中定义/可见。 Hadoop 代码通过查询底层操作系统来确定用户的一组组成员身份。如果用户在操作系统层是未知的，那么 Hadoop 会看到一组空的组成员身份并记录此警告。

典型的修复是确保在集群中的所有节点上定义了用户，例如通过运行 useradd。对于大型生产集群，与集中式 LDAP 服务器集成显然更易于管理。

或者，您可以选择忽略该警告。如果您的应用程序不依赖任何组成员身份(例如授予组访问权限的 HDFS 文件权限)，那么这对于您的用例来说可能是可以接受的。

可以在hdfs-site.xml中看到hdfs用户

有关详细信息，请参阅 HDFS permission guide