apache-spark - 使用 Spark-submit 时禁用 Ivy Logging

Question

调用 Spark-submit 将导致默认的 Ivy 日志显示获取的包。虽然与首次启动相关，但缓存策略通常会使使用缓存命中记录日志变得没那么有用。

禁用日志的最佳方法是什么？

不想看到这样的东西:

Ivy Default Cache set to: /root/.ivy2/cache
The jars for the packages stored in: /root/.ivy2/jars
:: loading settings :: url = jar:file:/usr/local/spark-2.0.2-bin-hadoop2.4/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
com.amazonaws#aws-java-sdk added as a dependency
org.apache.hadoop#hadoop-aws added as a dependency
...

Answer 1

尝试将此添加到 conf/log4j.properties 以禁用所有以 org 开头的包的所有日志记录，其中包括 Spark 和 Ivy:

log4j.logger.org=OFF

我没试过这个，但我猜这只会禁用 Ivy 日志记录:

log4j.logger.org.apache.ivy=OFF