hadoop - 异常 : java. Spark 中的 lang.Exception : When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.

Question

我是新的 apache-spark。我已经在 spark 独立模式下测试了一些应用程序。但我想运行应用程序 yarn 模式。我在 windows 中运行 apache-spark 2.1.0。这是我的代码

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

异常(exception):当使用主“yarn”运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。在 Spark 中

所以从搜索网站。我创建了一个名为 Hadoop_CONF_DIR 的文件夹并将 hive site.xml 放入其中并指向环境变量，之后我运行了 spark-submit 然后我得到了

连接拒绝异常我想我无法正确配置 yarn 模式设置。有人可以帮我解决这个问题吗？我需要单独安装 Hadoop 和 yarn 吗？我想以伪分布式模式运行我的应用程序。请帮助我在 Windows 中配置 yarn 模式，谢谢

Answer 1

您需要导出两个变量 HADOOP_CONF_DIR 和 YARN_CONF_DIR 以使您的配置文件对 yarn 可见。如果您使用的是 Linux，请在 .bashrc 文件中使用以下代码。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在windows下需要设置环境变量。

希望这对您有所帮助!