eclipse - 无法禁用 Spark eclipse scala 日志

Question

这个问题已经有答案了:

How to suppress Spark logging in unit tests? (6 个回答)

已关闭 4 年前。

我正在尝试禁用 scala 代码中的 Spark 日志。我已尝试了所有能找到的方法，但日志仍然出现。

这就是我所做的:

我编辑了log4j.properties文件并更改了以下行:

来自 log4j.rootCategory = WARNING, console至log4j.rootCategory = ERROR, console

我还使用 Spark 上下文将级别设置为错误或关闭:

sc.setLogLevel("OFF")

或者错误:

sc.setLogLevel("ERROR")

我还导入了 log4j.Level和log4jLogger

并且做到了:

var rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.FATAL)

最后一次尝试:

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
Logger.getLogger("spark").setLevel(Level.OFF)

但我仍然在日志中收到信息和警告。

有什么想法吗？我的Spark版本是2.0.0

Answer 1

在创建 SparkContext 之前添加以下代码

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)