apache-spark - 在Hadoop中使用Sparklyr时出现权限错误

Question

我正在尝试让sparklyr在Hadoop集群上工作。当我运行sc <- spark_connect(master = "yarn-client", version = "2.8.5")
我收到此错误消息:

Error in force(code) : 
  Failed during initialize_connection: org.apache.hadoop.security.AccessControlException: Permission denied: user=rstudio, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:219)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189)
...

用户rstudio是我为RStudio服务器创建的。如何修复权限才能使其正常工作？

Answer 1

使用hadoop super 用户(在您的情况下看起来像hdfs)，您需要为rstudio用户创建一个HDFS主目录(/user/rstudio)，并更改其所有权，以便rstudio是所有者。有关详细信息，请参见http://www.hadooplessons.info/2017/12/creating-home-directory-for-user-in-hdfs-hdpca.html?m=1。