hadoop - 如何从客户端Windows计算机访问hadoop群集(unix)

Question

我有虚拟的hadoop集群，客户端的hadoop在Windows计算机上运行。当我提交映射的作业时，我得到的是org.apache.hadoop.security.AccessControlException:权限被拒绝的访问= EXECUTE，inode =“”:jakub:supergroup:rwx -------因为它在Windows用户下运行。

我试图通过将dfs.permissions设置为false来禁用这些检查。似乎没有帮助。

当我尝试在集群上的用户hadoop is runnig下提交作业时，我得到:用户:XXX无法模拟jakub。

这与hadoop上的用户管理有关。我想念一些重要的东西吗？我是我的开发机器，因此最简便的解决方案胜出。

谢谢

Answer 1

也许这不是最好的解决方案，但我知道了:

1)在Linux机器上创建“Windows”用户

2)将该用户添加到运行hadoop的用户组中

3)hdfs-site.xml为dfs.permissions.supergroup添加属性到用户组hadoop正在运行

那为我解决了问题。我并不是说这是最好的，绝对不是适当的用户管理。