hadoop - WebHDFS 无法在安全的 hadoop 集群上运行-6ren

hadoop - WebHDFS 无法在安全的 hadoop 集群上运行

转载作者：可可西里更新时间：2023-11-01 14:19:37

27

4

我正在尝试使用 Kerberos 保护我的 HDP2 Hadoop 集群。

到目前为止，Hdfs、Hive、Hbase、Hue Beeswax 和 Hue Job/task 浏览器都可以正常工作；然而 Hue 的文件浏览器不工作，它回答:

WebHdfsException at /filebrowser/
AccessControlException: SIMPLE authentication is not enabled.  Available:[TOKEN, KERBEROS] (error 500)
Request Method: GET
Request URL:    http://bt1svlmy:8000/filebrowser/
Django Version: 1.2.3
Exception Type: WebHdfsException
Exception Value:    
AccessControlException: SIMPLE authentication is not enabled.  Available:[TOKEN, KERBEROS] (error 500)
Exception Location: /usr/lib/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py in _stats, line 208
Python Executable:  /usr/bin/python2.6
Python Version: 2.6.6
(...)

我的 hue.ini 文件配置了所有 security_enabled=true 和其他相关参数集。

我相信问题出在 WebHDFS 上。

我尝试了 http://hadoop.apache.org/docs/r1.0.4/webhdfs.html#Authentication 给出的 curl 命令

curl -i --negotiate -L -u : "http://172.19.115.50:14000/webhdfs/v1/filetoread?op=OPEN"

答案:

HTTP/1.1 403 Forbidden
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth=; Path=/; Expires=Thu, 01-Jan-1970 00:00:00 GMT; HttpOnly
Content-Type: text/html;charset=utf-8
Content-Length: 1027
Date: Wed, 08 Oct 2014 06:55:51 GMT

<html><head><title>Apache Tomcat/6.0.37 - Error report</title><style><!--H1 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:22px;} H2 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:16px;} H3 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:14px;} BODY {font-family:Tahoma,Arial,sans-serif;color:black;background-color:white;} B {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;} P {font-family:Tahoma,Arial,sans-serif;background:white;color:black;font-size:12px;}A {color : black;}A.name {color : black;}HR {color : #525D76;}--></style> </head><body><h1>HTTP Status 403 - Anonymous requests are disallowed</h1><HR size="1" noshade="noshade"><p><b>type</b> Status report</p><p><b>message</b> <u>Anonymous requests are disallowed</u></p><p><b>description</b> <u>Access to the specified resource has been forbidden.</u></p><HR size="1" noshade="noshade"><h3>Apache Tomcat/6.0.37</h3></body></html>

我可以通过添加具有以下 curl 请求的用户来重现 Hue 的错误消息:

curl --negotiate -i -L -u: "http://172.19.115.50:14000/webhdfs/v1/filetoread?op=OPEN&user.name=theuser"

它回答:

HTTP/1.1 500 Internal Server Error
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth=u=theuser&p=theuser&t=simple&e=1412735529027&s=rQAfgMdExsQjx6N8cQ10JKWb2kM=; Path=/; Expires=Wed, 08-Oct-2014 02:32:09 GMT; HttpOnly
Content-Type: application/json
Transfer-Encoding: chunked
Date: Tue, 07 Oct 2014 16:32:09 GMT
Connection: close

{"RemoteException":{"message":"SIMPLE authentication is not enabled.  Available:[TOKEN, KERBEROS]","exception":"AccessControlException","javaClassName":"org.apache.hadoop.security.AccessControlException"}}

WebHDFS 和 curl 之间似乎没有 Kerberos 协商。

我期待的是这样的:

HTTP/1.1 401 UnauthorizedContent-Type: text/html; charset=utf-8
WWW-Authenticate: Negotiate
Content-Length: 0
Server: Jetty(6.1.26)
HTTP/1.1 307 TEMPORARY_REDIRECT
Content-Type: application/octet-stream
Expires: Thu, 01-Jan-1970 00:00:00 GMT
Set-Cookie: hadoop.auth="u=exampleuser&p=exampleuser@MYCOMPANY.COM&t=kerberos&e=1375144834763&s=iY52iRvjuuoZ5iYG8G5g12O2Vwo=";Path=/
Location: http://hadoopnamenode.mycompany.com:1006/webhdfs/v1/user/release/docexample/test.txt?op=OPEN&delegation=JAAHcmVsZWFzZQdyZWxlYXNlAIoBQCrfpdGKAUBO7CnRju3TbBSlID_osB658jfGfRpEt8-u9WHymRJXRUJIREZTIGRlbGVnYXRpb24SMTAuMjAuMTAwLjkxOjUwMDcw&offset=0
Content-Length: 0
Server: Jetty(6.1.26)
HTTP/1.1 200 OK
Content-Type: application/octet-stream
Content-Length: 16
Server: Jetty(6.1.26)
A|1|2|3
B|4|5|6

知道哪里出了问题吗？

我在每个节点上的 hdfs-site.xml 中都有:

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

<property>
  <name>dfs.web.authentication.kerberos.principal</name>
  <value>HTTP/_HOST@MY-REALM.COM</value>
</property>

<property>
  <name>dfs.web.authentication.kerberos.keytab</name>
  <value>/etc/hadoop/conf/HTTP.keytab</value> <!-- path to the HTTP keytab -->
</property>

最佳答案

看起来您不访问 WebHDFS(默认端口 = 50070)，而是访问 HttpFS(默认端口 = 14000)，这是一个“普通”网络应用程序，没有以相同的方式保护。

WebHDFS url 通常类似于 http://namenode:50070/webhdfs/v1 ；尝试使用该参数修改 hue.ini(建议使用 WebHDFS 而不是 HttpFS)

关于hadoop - WebHDFS 无法在安全的 hadoop 集群上运行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26241128/

27

4

0

文章推荐： java - spark 0.9.1 on hadoop 2.2.0 maven 依赖

文章推荐：用于将文件从本地文件系统移动到 HDFS 的 Hadoop 工具

文章推荐： sql - 如何比较两个表并返回与 HIVE 不同的行

文章推荐： java - 使用 Spring 挂起查询远程 Hive server2

spring 安全、方法安全和 url 安全
我正在学习 Spring 安全性，但我对它的灵活性感到困惑.. 我知道我可以通过在标签中定义规则来保护网址然后我看到有一个@secure 注释可以保护方法。然后还有其他注释来保护域(或 POJO)
java - key 安全 - 如何确保 key 安全？
假设有一个 key 加密 key 位于内存中并且未写入文件或数据库... byte[] kek = new byte[32]; secureRandom.nextBytes(kek); byte[]
Spring 安全 3.2.0 > <安全 :form-login/> deprecated
我有 Spring Security 3.2.0 RC1 的问题我正在使用标签来连接我这表示“方法‘setF
flutter 安全
我正在创建一个使用 Node Js 服务器 API 的 Flutter 应用程序。对于授权，我决定将 JWT 与私钥/公钥一起使用。服务器和移动客户端之间的通信使用 HTTPS。 Flutter 应用
Javascript 安全
在过去的几年里，我一直在使用范围从 Raphael.js 的 javascript 库。至 D3 ，我已经为自己的教育操纵了来自网络各地的动画。我已经从各种 git 存储库下载了 js 脚本，例如 s
python +安全
在 python 中实现身份验证的好方法是什么？已经存在的东西也很好。我需要它通过不受信任的网络连接进行身份验证。它不需要太高级，只要足以安全地获取通用密码即可。我查看了 ssl 模块。但那个模块让我
Hadoop 安全
我正在尝试学习“如何在 Hadoop 中实现 Kerberos？”我已经看过这个文档 https://issues.apache.org/jira/browse/HADOOP-4487我还了解了基本的
phpmyadmin 安全
我有一个带有 apache2、php、mysql 的生产服务器。我现在只有一个站点 (mysite.com) 作为虚拟主机。我想把 phpmyadmin、webalizer 和 webmin 放在那里
记OPNsense防火墙的安装过程-安全
前些天在网上看到防火墙软件OPNsense，对其有了兴趣，以前写过一个其前面的一个软件M0n0wall（关于m0n0wa
Spring 安全+火力地堡
我在 Spring Boot 和 oauth2(由 Google 提供)上编写了 rest 后端，在 "/login" 上自动重定向。除了 web 的 oauth 之外，我还想在移动后端进行 Fire
c++ - 从派生类调用带有抽象基类的类——安全
我想调用类 Foo，它的构造函数中有抽象类 Base。我希望能够从派生自 Base 的 Derived 调用 Foo 并使用 Derived覆盖方法而不是 Base 的方法。我只能按照指示使用原始指
Codeigniter session 安全
如何提高 session 的安全性？ $this->session->userdata('userid') 我一直在为我的 ajax 调用扔掉这个小坏蛋。有些情况我没有。然后我想，使用 DOM 中的
security - assembly 安全
我目前正在为某些人提供程序集编译服务。他们可以在在线编辑器中输入汇编代码并进行编译。然后编译它时，代码通过ajax请求发送到我的服务器，编译并返回程序的输出。但是，我想知道我可以做些什么来防止对服务
security - 安全、黑客等方面的良好资源？
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
php - $_session 安全
目前，我通过将 session 中的 key 与 MySQl 数据库中的相同 key 相匹配来验证用户 session 。我使用随机数重新生成 session ，该随机数在每个页面加载时都受 MD5
ASP.Net 安全
Microsoft 模式与实践团队提供了一个很棒的 pdf，称为:“构建安全的 asp.net 应用程序”。 microsoft pdf 由于它是为 .Net 1.0 编写的，所以现在有点旧了。有谁知
lua - (安全)随机字符串？
在 Lua 中，通常会使用 math.random 生成随机值和/或字符串。 & math.randomseed , 其中 os.time用于 math.randomseed . 然而，这种方法有一个
security - ColdFusion 安全
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
javascript - Ajax 安全
我们有一个严重依赖 Ajax 的应用程序。确保对服务器端脚本的请求不是通过独立程序而是通过坐在浏览器上的实际用户的好方法是什么最佳答案真的没有。通过浏览器发送的任何请求都可以由独立程序伪造。归
security - Websocket 安全
我正在寻找使用 WebSockets 与我们的服务器通信来实现 web (angular) 和 iPhone 应用程序。在过去使用 HTTP 请求时，我们使用请求数据、url、时间戳等的哈希值来验证和

首页

博学

6Ren·AI

商城

hadoop - WebHDFS 无法在安全的 hadoop 集群上运行