hadoop - Spark 以另一个用户身份提交到 yarn

Question

是否可以将 spark 作业提交到 yarn 集群并使用命令行或在 jar 中选择哪个用户将“拥有”该作业？

spark-submit 将从包含用户的脚本中启动。

PS:如果集群有一个 kerberos 配置(和一个 keytab 脚本)，它仍然可能吗？

Answer 1

对于非 Kerberized 集群:export HADOOP_USER_NAME=zorro 在提交 Spark 作业之前就可以了。
如果您想在其余的 shell 脚本(或交互式 shell session )中恢复为默认凭据，请确保之后unset HADOOP_USER_NAME。

对于 kerberized 集群，在不破坏您的其他作业/ session (可能取决于您的默认票证)的情况下模拟另一个帐户的干净方法将是这个线...

export KRB5CCNAME=FILE:/tmp/krb5cc_$(id -u)_temp_$$
kinit -kt ~/.protectedDir/zorro.keytab zorro@MY.REALM
spark-submit ...........
kdestroy