gpt4 book ai didi

python - 如何在不更改 log4j.properties 的情况下关闭 PySpark 中日志的信息?

转载 作者:太空狗 更新时间:2023-10-29 17:14:00 25 4
gpt4 key购买 nike

我在一个集群中工作,在该集群中我无权更改文件 log4j.properties 以在使用 pyspark 时停止信息记录(如第一个答案 here 中所述)。以下解决方案如上述问题中所述spark-shell (scala) 的第一个答案工作

import org.apache.log4j.Logger
import org.apache.log4j.Level

但对于 spark with python(即 pyspark),它没有工作,也没有以下

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

如何在不更改 log4j.properties 文件的情况下停止在 pyspark 中详细打印信息?

最佳答案

我使用了 sc.setLogLevel("ERROR") 因为我没有对集群的 log4j.properties 文件的写入权限。来自docs :

Control our logLevel. This overrides any user-defined log settings. Valid log levels include: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

关于python - 如何在不更改 log4j.properties 的情况下关闭 PySpark 中日志的信息?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32512684/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com