apache-spark - 如何将 hadoop conf 目录指定为 conf 属性以启动应用程序

Question

是否有一个 spark 属性，我们可以在执行 spark 提交时设置它指定 hadoop 配置路径，专门指向自定义 hdfs-site.xml 和 core-site.xml 文件

Answer 1

首选的方法是在 spark-submit 之前设置 Hadoop 配置目录，而不是单独配置这些文件。

export HADOOP_CONF_DIR=/your/hadoop/dir

但如果必须使用sparkConfig来设置，可以按如下方式设置，

sparkConfig.set("spark.hadoop.yarn.resourcemanager.hostname","XXX");
sparkConfig.set("spark.hadoop.yarn.resourcemanager.address","XXX:8032");
sparkConfig.set("spark.yarn.access.namenodes","hdfs://XXXX:8020,hdfs://XXXX:8020");
sparkConfig.set("spark.yarn.stagingDir", "hdfs://XXXX:8020/user/hduser/");

可以在此处找到与此问题相关的整个讨论， https://community.cloudera.com/t5/Support-Questions/How-to-add-the-hadoop-and-yarn-configuration-file-to-the/m-p/126813