shell - 设置hadoop用户通过oozie shell操作启动spark-submit

Question

我想通过 shell 操作启动oozie工作流时设置hadoop用户进行 Spark 提交操作:oozie MR(启动 shell )应以用户A身份启动，但 Spark 提交(从 shell 脚本启动)应以用户B身份启动。

我试图用'export HADOOP_USER_NAME = B'(在shell脚本中)设置user.name = A(在job.properties中)，但是除非A = B，否则它不起作用。

有人可以帮忙吗？

附言我在CDH 5.3.1上使用oozie 4.0.0，在 yarn 上使用spark 1.2.0。

Answer 1

我很惊讶在shell脚本中无法导出HADOOP_USER_NAME，但是您可以尝试添加一个

<shell ...>
  ...
  <env-var>HADOOP_USER_NAME=B</env-var>
  ...
</shell>

到xml中的shell Action 。