hadoop - Hive 无法设置暂存目录的权限

Question

即使我在运行作业之前设置了 exec 目录和暂存目录，我的配置单元作业也失败并出现以下错误，我不确定为什么没有更新默认属性。

SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;

异常(exception):

17/09/13 11:30:42 [Thread-126]: ERROR mr.ExecDriver: yarn java.io.IOException: Could not set permission for /var/mapr/cluster/yarn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar at com.mapr.fs.MapRFileSystem.setPermission(MapRFileSystem.java:2100) at org.apache.hadoop.mapreduce.JobResourceUploader.copyJar(JobResourceUploader.java:248)

我还需要设置其他属性吗？谢谢

有一个类似的问题here ，我已经在使用的属性。

Answer 1

在 hive shell 中尝试以下配置属性来覆盖 hive-mapreduce AM 阶段目录。使用完整的 URI

yarn.app.mapreduce.am.staging-dir

http://doc.mapr.com/display/MapR/Default+mapred+Parameters