jetty - 如何更改spark.ui.port？

Question

我正在使用spark-submit并尝试在jar文件中使用spark上下文上的.setExecutorEnv("spark.ui.port", "4050")来执行此操作，但是它仍然尝试达到4040。然后我尝试将--conf spark.ui.port=4050放在spark-submit之后和--class CLASSNAME之前，但是那也不起作用，这一次显示“错误:无法识别的选项'--conf'”。我该如何解决？我遇到的实际错误是，有一个正在使用的事件Spark服务器，其他人正在使用它，阻止了此Spark提交启动 jetty 服务器。然后，它不会占用其他端口，因此我试图强制它执行此操作。

Answer 1

--conf spark.ui.port=4050是Spark 1.1的功能。您可以在代码中进行设置，例如:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050")
val sc = new SparkContext(conf)