java - 不使用spark-submit.sh时，Spark如何知道Yarn资源管理器在哪里运行？

Question

我对 Spark 很陌生，我正在尝试在 yarn 集群模式下从我的应用程序内部启动 Spark 作业(不使用 Spark-submit.sh)，并且我正在尝试弄清楚该作业如何知道在哪里Yarn ResourceManager 正在运行。我已经做到了

SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");

但我无法配置的是 Yarn ResourceManager 的位置。关于我如何去做有什么想法吗？我有一个集群设置，其中 Yarn RM 与应用程序不在同一台计算机上运行。

Answer 1

这些属性可以在 yarn-site.xml 中找到，或者位于 HADOOP_CONF_DIR 或 YARN_CONF_DIR 环境变量中，这些变量可以设置为操作系统级别，或在 spark-env.sh 中。

在非 HA 部署中，您正在寻找 yarn.resourcemanager.address