hadoop - oozie 不允许冒充 oozie

Question

我对 oozie 有点陌生。我在我的服务器上安装了(使用 cdh 存储库)oozie(我遵循了 CDH4 文档 [我的 hadoop 在 cdh4 中运行])。

我已使用以下信息更新我的 core-site.xml:

<!-- OOZIE -->
<property>
  <name>hadoop.proxyuser.oozie.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.oozie.groups</name>
  <value>*</value>
</property>
<!-- -->

但是当我开始工作时:

sudo -u oozie oozie job -oozie http://localhost:11000/oozie -config examples/apps/sqoopList/job.properties -run

我得到:

job: 0000004-130530171203897-oozie-oozi-W

但是当我查看 oozie webconsole 时，我可以看到我的工作，但我的工作状态为“START_RETRY”出现以下错误

JA009: User: oozie is not allowed to impersonate oozie

而且我没有任何日志.....我真的不知道出了什么问题..

我不明白为什么我不能开始工作？你能帮我解决这个问题吗？

Answer 1

您可以尝试以下操作:

1. 如果 Oozie 服务器和 Hadoop 守护进程位于不同的机器上，并且如果您使用 oozie 用户运行命令:您必须创建 oozie 用户和oozie hadoop 机器上的组。如果你有一个 Hadoop 集群，NameNode 在单独的机器上运行，请在 NameNode 机器上创建它们。如果使用 * 通配符，添加 oozie 组可能是多余的(我没有对此进行测试)；但您应该为 oozie 用户分配一个组。这样HDFS就可以收集用户的组信息。

这是我的配置:

<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>oozie</value>
</property>

2。添加 oozie 用户和组后，重新启动 hadoop 守护进程。当 hadoop 再次回来时，它将具有 oozie 用户的组映射。

HDFS 权限指南中说明了这些操作背后的逻辑:

Once a username has been determined as described above, the list of groups is determined by a group mapping service, configured by the hadoop.security.group.mapping property. The default implementation, org.apache.hadoop.security.ShellBasedUnixGroupsMapping, will shell out to the Unix bash -c groups command to resolve a list of groups for a user.

For HDFS, the mapping of users to groups is performed on the NameNode. Thus, the host system configuration of the NameNode determines the group mappings for the users.

以下 2 个链接可以提供有关 HDFS 权限的摘要。 https://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html http://blog.cloudera.com/blog/2012/03/authorization-and-authentication-in-hadoop/