个人中心
gpt4 book ai didi

apache-spark - kerberos 环境的 Oozie Spark 操作失败

转载 作者：行者123 更新时间：2023-12-03 14:45:47 34 4
gpt4 key购买 nike

我正在通过 oozie spark 操作运行一个 spark 作业。 spark 作业使用 hivecontext 来执行一些要求。集群配置了 kerberos。当我使用 spark-submit 表单控制台提交作业时，它运行成功。但是当我从 oozie 运行作业时，出现以下错误。

18/03/18 03:34:16 INFO metastore: Trying to connect to metastore with URI thrift://localhost.local:9083
    18/03/18 03:34:16 ERROR TSaslTransport: SASL negotiation failure
    javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
            at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:211)
            at org.apache.thrift.transport.TSaslClientTransport.handleSaslStartMessage(TSaslClientTransport.java:94)

工作流.xml

<workflow-app xmlns="uri:oozie:workflow:0.5" name="workflow">
   <start to="analysis" />
   <!-- Bash script to do the spark-submit. The version numbers of these actions are magic. -->
   <action name="Analysis">
      <spark xmlns="uri:oozie:spark-action:0.1">
         <job-tracker>${jobTracker}</job-tracker>
         <name-node>${nameNode}</name-node>
         <master>${master}</master>
         <name>Analysis</name>
         <class>com.demo.analyzer</class>
         <jar>${appLib}</jar>
         <spark-opts>--jars ${sparkLib} --files ${config},${hivesite} --num-executors ${NoOfExecutors} --executor-cores ${ExecutorCores} --executor-memory ${ExecutorMemory} --driver-memory ${driverMemory}</spark-opts>
      </spark>
      <ok to="sendEmail" />
      <error to="fail" />
   </action>
   <action name="sendEmail">
      <email xmlns="uri:oozie:email-action:0.1">
         <to>${emailToAddress}</to>
         <subject>Output of workflow ${wf:id()}</subject>
         <body>Results from line count: ${wf:actionData('shellAction')['NumberOfLines']}</body>
      </email>
      <ok to="end" />
      <error to="end" />
   </action>
   <!-- You wish you'd ever get Oozie errors. -->
   <kill name="fail">
      <message>Bash action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
   </kill>
   <end name="end" />
</workflow-app>

我是否需要在 workflow.xml 中配置任何与 Kerberos 相关的内容？我在这里遗漏了什么吗？

感谢任何帮助。

提前致谢。

最佳答案

您需要在 oozie 工作流中为 thrift uri 添加 hcat 凭据。这将使使用 Kerberos 的 thrift URI 成功验证 Metastore。

在 oozie 工作流中的 credentials 标签下方添加。

<credentials>
    <credential name="credhive" type="hcat">
        <property>
            <name>hcat.metastore.uri</name>
            <value>${thrift_uri}</value>
        </property>
        <property>
            <name>hcat.metastore.principal</name>
            <value>${principal}</value>
        </property>
    </credential>
</credentials>

并向 spark 操作提供凭证，如下所示:

<action name="Analysis" cred="credhive">
      <spark xmlns="uri:oozie:spark-action:0.1">
         <job-tracker>${jobTracker}</job-tracker>
         <name-node>${nameNode}</name-node>
         <master>${master}</master>
         <name>Analysis</name>
         <class>com.demo.analyzer</class>
         <jar>${appLib}</jar>
         <spark-opts>--jars ${sparkLib} --files ${config},${hivesite} --num-executors ${NoOfExecutors} --executor-cores ${ExecutorCores} --executor-memory ${ExecutorMemory} --driver-memory ${driverMemory}</spark-opts>
      </spark>
      <ok to="sendEmail" />
      <error to="fail" />
   </action>

thrift_uri 和principal 可以在hive-site.xml 中找到。 thrift_uri 将在 hive-site.xml 属性中设置:

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://xxxxxx:9083</value>
  </property>

此外，主体将在 hive-site.xml 属性中设置:

 <property>
    <name>hive.metastore.kerberos.principal</name>
    <value>hive/_HOST@domain.COM</value>
  </property>

关于apache-spark - kerberos 环境的 Oozie Spark 操作失败，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49345746/

34 4 0
文章推荐： perl - 在模式匹配中使用未初始化的值(m//)
文章推荐： delphi - 线程错误: The Handle is Invalid (6) when trying to Free a suspended thread
文章推荐： delphi - 在 Dunit 项目中，exe 版本信息被禁用，如何恢复它？
文章推荐： react-native - 如何在 React-Native 中停止触摸事件传播
行者123
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com