gpt4 book ai didi

logging - 在 PySpark 中禁用 INFO 日志记录

转载 作者:行者123 更新时间:2023-12-01 19:35:50 32 4
gpt4 key购买 nike

<分区>

我已经编辑了 log4j.properties 文件以设置 log4j.rootCategory=INFO, console 并且日志记录在 spark-shell 中停止但它在 pyspark 中是不屈不挠的.

下面的代码在 pyspark 中为我工作。但是我每次打开 pyspark 控制台时都需要设置它。

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )

我正在寻找此问题的永久修复方法,并想了解 pyspark 如何单独获取默认属性,而 spark-shell 却没有。我检查过this线程,但找不到解决方案。

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com