hadoop - Hue/Hive 用户 root 不允许冒充 Hue

Question

情况:我在不同的 Docker 容器中设置了 Hive、Hue 和 Hadoop。在同一个 Docker 网络中。我为每个 1 个 Hadoop 名称节点、2 个数据节点、1 个 Hue 实例、1 个 Hive 服务器和一个 Postgres Metastore 创建了一个容器。我能够在 namenode 的 hdfs-site.xml 中配置一个 hue 代理用户，并且可以通过 webhdfs 浏览文件系统。然而，对于 Hive，我在 Hue 中得到了错误:

Failed to open new session: java.lang.RuntimeException: 
org.apache.hadoop.ipc.RemoteException
(org.apache.hadoop.security.authorize.AuthorizationException):
User: root is not allowed to impersonate hue

例如，我能够在 Hive 中创建 Hive 表或从 Sparkjobs 中写入它们。

到目前为止我尝试了什么:

我试过添加像这样的属性

• hive.server2.proxy.user = hue
• hive.server2.enable.impersonation=true
• hadoop.proxyuser.hue.hosts=*
• hive.server2.authentication=NONE

在不同的配置文件中，例如:

• hdfs-namenode 配置文件夹中的 core-site.xml
• hive-hadoop 文件夹中的 core-site.xml
• 两者都包含 hdfs-site.xml
• hive-conf 文件夹中的 hive-site.xml

其中大部分是在类似问题中提出的，但似乎不再是最新的。对于某些属性，Hive 说:属性未知

我需要澄清的是:

• 将配置添加到的正确文件是什么？
• 要添加的正确属性是什么？
• 我是否必须向 hue 添加一些关于 Metastore 的配置？

附加信息: - hive 版本:2.3.1 - hive Hadoop 版本:2.7.4 - Hadoop 集群版本:2.7.2(我认为版本差异不应该是这里的问题？!​​)

Hue 版本:4(gethue/hue:最新形式的 docker-hub)

• 完整的错误日志 here
• 配置单元配置here
• HDFS 站点配置 here

Answer 1

好的，我找到了一个可行的解决方案:

将以下属性添加到 hadoop 名称节点和数据节点 core-site.xml:

<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>

此外，如果 Hive 在 hue .ini 文件中的另一台机器/容器上运行，则需要设置 Hive 配置的路径，并将 hive-config 文件夹复制到您的 hue 容器/机器。

请注意，在 Hue 文档中，WebHdfs 的配置是在 hdfs-site.xml 中完成的，配置单元配置是在 hive-site.xml 中完成的>