apache-spark - 如果 Spark 在 Yarn 上运行，如何获取 SparkContext？

Question

我们有一个基于 Spark 独立的程序，在这个程序中我们使用 SparkContext和 SqlContext做很多查询。

现在我们想将系统部署在运行在 Yarn 上的 Spark 上。但是当我们修改spark.master至yarn-cluster ，应用程序抛出一个异常说这适用于 spark-submit仅键入。当我们切换到 yarn-client ，虽然它不再抛出异常，但它不能正常工作。

看来如果在 Yarn 上运行，我们不能再使用 SparkContext为了工作，我们应该使用类似 yarn.Client 的东西, 但是这样我们不知道如何改变我们的代码来实现我们在使用 SparkContext 之前所做的事情和 SqlContext .

有没有解决这个问题的好方法？我们可以得到SparkContext来自 yarn.Client或者我们应该更改我们的代码以使用 yarn.Client 的新接口(interface)?

谢谢!

Answer 1

当您在 cluster 上运行时，您需要像这样进行 spark-submit

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \

--master 将是 yarn
--deploy-mode 将是集群

在您的应用程序中，如果您有类似 setMaster("local[]") 的内容，则可以将其删除并构建代码。当您使用 --Master yarn 进行 spark-submit 时，yarn 将为您启动容器，而不是 spark-standalone 调度程序。

您的应用代码可以在没有任何 Master 设置的情况下看起来像这样

 val conf = new SparkConf().setAppName("App Name")
 val sc = new SparkContext(conf)

当您想从正在运行的代码在同一台机器上启动驱动程序时，使用 yarn 部署模式客户端。在集群上，部署模式应该是集群，这将确保驱动程序通过 yarn 在一个工作节点上启动。