apache-spark - Spark 纱集群的权限问题

Question

我在 HDP 2.1 集群上安装了一个 spark 1.5.1 进程。它使用 hadoop 2.4.0，当驱动程序尝试写入给定的 Hive 表时，我遇到了权限被拒绝的问题。

提交作业的用户是 gvp_service，在作业期间它的工作人员可以使用 gvp_service 权限进行写入，但是在与 Metastore 交互时我收到以下异常:

引起:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):权限被拒绝:user=yarn，access=WRITE，inode="/apps/hive/warehouse/gbic_video_video。 db/gbic_video_video_raw_users/global_op_id=1000/service_type=1/day=2015-09-15":gvp_service:hdfs:drwxr-xr-x 在 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:265)

为什么要使用 yarn user 来完成这个任务？是因为使用了Hadoop client 2.4.0吗？

Answer 1

你能检查作业是以哪个用户提交的吗？要与 hive 交互，您应该在 $SPARK_INSTALL_DIR/conf 中包含以下内容的“hive-site.xml”

<configuration>
<property>
  <name>hive.metastore.uris</name>
  <!-- Ensure that the following statement points to the Hive Metastore URI in your cluster -->
  <value>thrift://<METASTORE IP>:9083</value>
  <description>URI for client to contact metastore server</description>
</property>
</configuration>

希望对你有帮助