java - 无法连接到本地 Spark session

Question

这里是 Spark 新手。根据我在网上找到的说明，我在本地Windows开发机器上安装了spark。WebUI 中的 Spark 属性是

spark.app.name  Spark shell
spark.driver.host   192.168.2.131
spark.driver.port   53796
spark.executor.id   driver
spark.home  C:\BigData\spark
spark.master    local[*]

现在，在本地计算机上的 java Web 应用程序中，当我尝试使用代码创建与 Spark session 的连接时，会创建一个新的本地 Spark session ，该 session 指向不同的主机和端口，即使位于同一台计算机中也是如此。

    SparkConf conf = new SparkConf()
                        .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    Globals.spark = SparkSession.builder()
                            .master("local[2]")
                            .appName("test")
                            .config(conf)
                            .getOrCreate();     

新创建的 Spark session 的属性

spark.app.name  test
spark.driver.host   192.168.2.198
spark.driver.port   57755
spark.executor.id   driver
spark.master    local[2]

如何连接到已在本地计算机中运行的 Spark session ？我想这样做是因为我希望能够添加执行程序并修改属性在我的本地计算机上调试应用程序，然后再将其放入生产集群。

Answer 1

这不是 Spark 的工作方式:一旦运行，您就无法从外部连接到 Spark session 。如果你想调整它，修改一些参数，你必须先这样做。

看看https://developer.ibm.com/code/open/projects/spark-bench/ 。 Spark Bench 将允许您以自动化的方式做到这一点。我希望这将帮助您解决您的用例。