apache-spark - SPARK YARN:无法从客户端发送作业(org.apache.hadoop.ipc.Client-重试连接到服务器:0.0.0.0/0.0.0.0:8032)

Question

我正在尝试在HA模式下将 Spark 作业发送到 yarn (没有HDFS)。

为了提交，我使用org.apache.spark.deploy.SparkSubmit。
当我从具有 Activity 资源管理器的计算机发送请求时，它运行良好。但是，如果我尝试使用备用资源管理器从计算机发送邮件，则作业将失败并显示以下错误:

DEBUG org.apache.hadoop.ipc.Client - Connecting to spark2-node-dev/10.10.10.167:8032
DEBUG org.apache.hadoop.ipc.Client - Connecting to /0.0.0.0:8032
org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep

但是，当我通过命令行(spark-submit)发送请求时，它在主用计算机和备用计算机上都能正常工作。

是什么原因引起的？

附言两种类型的发送作业都使用相同的参数: org.apache.spark.deploy.SparkSubmit和 spark-submit命令行请求。为所有rm主机定义的属性 yarn.resourcemanager.hostname.rm_id

Answer 1

问题是在 Spark 发送器jar的类路径中缺少yarn-site.xml。实际上spark提交者jar并没有考虑YARN_CONF_DIR或HADOOP_CONF_DIR env var，因此看不到yarn-site。

我发现的一种解决方案是将 yarn 位置放入jar的类路径中。