java - Spark : How to obtain the location of configurations spark is using?

Question

现在，我遇到了以下 issue exactly .具体来说，spark-submit 正在尝试连接到位置 0.0.0.0/0.0.0.0 的 yarn.resourcemanager。

我已经检查了上面堆栈溢出线程中描述的所有日志。他们似乎都是正确的。我还在 spark 配置目录顶部的默认设置文件中添加了 yarn.resourcemanager.address=... 行，导出了 YARN_CONF_DIR 和所有该线程上列出的其他修复程序。

在评分最高的答案的评论底部，一位评论员指出，如果上述修复均无效，则 spark 未使用正确的配置。

---

此时，我很确定我的 spark 安装没有使用正确的配置(我没有安装它)。

如何确定 spark 使用的配置，以及如何将它们更改为正确的配置？ (或者也许我只需要重启机器？)

Answer 1

例如，在 spark-shell 中，我可以这样做:

scala> getClass.getClassLoader.getResource("yarn-site.xml")
res1: java.net.URL = file:/etc/spark2/conf.cloudera.spark2_on_yarn/yarn-conf/yarn-site.xml

...结果显示了我当前类路径中配置文件的准确解析位置。如果您的应用程序是基于 Java 的，那么同样可以很容易地(几乎是逐字地)翻译成 Java。