gpt4 book ai didi

jetty - 如何更改spark.ui.port?

转载 作者:行者123 更新时间:2023-12-04 13:38:44 33 4
gpt4 key购买 nike

我正在使用spark-submit并尝试在jar文件中使用spark上下文上的.setExecutorEnv("spark.ui.port", "4050")来执行此操作,但是它仍然尝试达到4040。然后我尝试将--conf spark.ui.port=4050放在spark-submit之后和--class CLASSNAME之前,但是那也不起作用,这一次显示“错误:无法识别的选项'--conf'”。我该如何解决?我遇到的实际错误是,有一个正在使用的事件Spark服务器,其他人正在使用它,阻止了此Spark提交启动 jetty 服务器。然后,它不会占用其他端口,因此我试图强制它执行此操作。

最佳答案

--conf spark.ui.port=4050是Spark 1.1的功能。您可以在代码中进行设置,例如:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050")
val sc = new SparkContext(conf)

关于jetty - 如何更改spark.ui.port?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27388332/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com