java - yarn 上的 Spark ，在/0.0.0.0 :8032 连接到 ResourceManager

Question

我在我的开发机器上写了一个 spark 程序，它是一台 mac。hadoop的版本是2.6，spark的版本是1.6.2。 hadoop集群有3个节点，当然都是在linux机器上。我在 idea IDE 中以 spark 独立模式运行 spark 程序，它运行成功。但是现在，我改成yarn-client模式，还是不行，提示信息如下:

...
2017-02-23 11:01:33,725-[HL] INFO main org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at /0.0.0.0:8032
2017-02-23 11:01:34,839-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:35,842-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:36,847-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:37,854-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
...

我已经在项目的resources目录下添加了相应的配置文件。如果我把它打成jar包，用spark-submit运行这个程序就ok了。现在，我想在 IDE 中以 yarn-client 模式运行这个程序，就像 spark 独立模式一样。我该如何解决这个问题？谢谢。

Answer 1

确保 YARN 配置可供 Spark 在 Yarn 模式下运行时使用。将这些文件 core-site.xml、hdfs-site.xml 和 yarn-site.xml 文件添加到 conf Spark 的目录。
还要确保 yarn-site.xml 包含资源管理器的地址

<property>
   <name>yarn.resourcemanager.address</name>
   <value>resource_manager_ip:8032</value>
</property>