gpt4 book ai didi

apache-spark - 如何以编程方式禁用 SparkUI?

转载 作者:行者123 更新时间:2023-12-04 01:36:19 26 4
gpt4 key购买 nike

我注意到这个错误已被修复:

Allow users to disable Jetty Spark UI in local mode

https://issues.apache.org/jira/browse/SPARK-2100


但是如何以编程方式禁用它?
是由
sparkContext.setLocalProperty(?, ?)
我检查了文档,但无法弄清楚要设置哪个属性
http://spark.apache.org/docs/latest/configuration.html#spark-ui

最佳答案

套装spark.ui.enabledfalse .这个配置没有记录在 Spark 的配置页面上,因为它是作为调试和单元测试的内部配置添加的 [1]。

使用 spark-submit,你可以简单地 --conf spark.ui.enabled=false .

[1] https://github.com/apache/spark/pull/2363/files#r17436782

关于apache-spark - 如何以编程方式禁用 SparkUI?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33774350/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com