gpt4 book ai didi

python - 如何将 pyspark 日志记录级别设置为调试?

转载 作者:行者123 更新时间:2023-12-05 02:54:46 24 4
gpt4 key购买 nike

任何人都可以帮助我设置日志记录级别以调试和捕获更多日志所需的 spark 配置

最佳答案

在 sparksession 中将 setLogLevel 属性设置为 DEBUG

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('test').getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")

#or

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.DEBUG)

#for custom log
log4j.LogManager.getRootLogger().info("custom log")
#2020-05-06 13:43:42 INFO root:? - custom log

关于python - 如何将 pyspark 日志记录级别设置为调试?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61642331/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com