gpt4 book ai didi

apache-spark - 如何在没有 kerberos 的情况下启动 spark 3.0.0 kubernetes 工作负载?

转载 作者:行者123 更新时间:2023-12-02 11:38:45 40 4
gpt4 key购买 nike

似乎在 spark 3.0.0 上,当我使用 kubernetes 进行 spark 提交时,它需要 kerberos,我使用在 2.4.5 中运行良好的相同 spark 提交我收到此错误:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
20/07/04 08:17:51 INFO SparkKubernetesClientFactory: Auto-configuring K8S client using current context from users K8S config file
20/07/04 08:17:51 INFO KerberosConfDriverFeatureStep: You have not specified a krb5.conf file locally or via a ConfigMap. Make sure that you have the krb5.conf locally on the driver image.
Exception in thread "main" org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: java.lang.NullPointerException: invalid null input: name

更具体地说,我不想使用kerberos

最佳答案

好的,找到了,需要在镜像构建步骤指定一个spark_uid。

关于apache-spark - 如何在没有 kerberos 的情况下启动 spark 3.0.0 kubernetes 工作负载?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62726949/

40 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com