python - 如何扩展 logging.Logger 类？

Question

我想从一个继承自 Python 的 logging.Logger 类的基本日志记录类开始。但是，我不确定我应该如何构建我的类，以便我可以建立自定义继承记录器所需的基础知识。

这是我目前在 logger.py 文件中的内容:

import sys
import logging
from logging import DEBUG, INFO, ERROR

class MyLogger(object):
    def __init__(self, name, format="%(asctime)s | %(levelname)s | %(message)s", level=INFO):
        # Initial construct.
        self.format = format
        self.level = level
        self.name = name

        # Logger configuration.
        self.console_formatter = logging.Formatter(self.format)
        self.console_logger = logging.StreamHandler(sys.stdout)
        self.console_logger.setFormatter(self.console_formatter)

        # Complete logging config.
        self.logger = logging.getLogger("myApp")
        self.logger.setLevel(self.level)
        self.logger.addHandler(self.console_logger)

    def info(self, msg, extra=None):
        self.logger.info(msg, extra=extra)

    def error(self, msg, extra=None):
        self.logger.error(msg, extra=extra)

    def debug(self, msg, extra=None):
        self.logger.debug(msg, extra=extra)

    def warn(self, msg, extra=None):
        self.logger.warn(msg, extra=extra)

这是主要的 myApp.py:

import entity
from core import MyLogger

my_logger = MyLogger("myApp")

def cmd():
    my_logger.info("Hello from %s!" % ("__CMD"))

entity.third_party()
entity.another_function()
cmd()

这是 entity.py 模块:

# Local modules
from core import MyLogger

# Global modules
import logging
from logging import DEBUG, INFO, ERROR, CRITICAL

my_logger = MyLogger("myApp.entity", level=DEBUG)

def third_party():
    my_logger.info("Initial message from: %s!" % ("__THIRD_PARTY"))

def another_function():
    my_logger.warn("Message from: %s" % ("__ANOTHER_FUNCTION"))

当我运行主应用程序时，我得到了这个:

2016-09-14 12:40:50,445 | INFO | Initial message from: __THIRD_PARTY!
2016-09-14 12:40:50,445 | INFO | Initial message from: __THIRD_PARTY!
2016-09-14 12:40:50,445 | WARNING | Message from: __ANOTHER_FUNCTION
2016-09-14 12:40:50,445 | WARNING | Message from: __ANOTHER_FUNCTION
2016-09-14 12:40:50,445 | INFO | Hello from __CMD!
2016-09-14 12:40:50,445 | INFO | Hello from __CMD!

所有内容都打印两次，可能是因为我没有正确设置记录器类。

更新1

让我阐明我的目标。

(1) 我想将主要的日志记录功能封装在一个位置，这样我就可以这样做:

 from mylogger import MyLogger
 my_logger = MyLogger("myApp")
 my_logger.info("Hello from %s!" % ("__CMD"))

(2) 我打算使用 CustomFormatter 和 CustomAdapter 类。此位不需要自定义日志记录类，可以直接插入。

(3) 我可能不需要深入了解底层记录器类(记录等)的定制，拦截 logger.info，loggin.debug 等应该足够了。

所以回到this python receipt在这些论坛上流传了很多次:

我试图找到拥有 Logger 类 之间的甜蜜点，但仍然能够使用内置函数，如分配 Formatters 和 Adapters 等。所以一切都与 logging 模块兼容。

class OurLogger(logging.getLoggerClass()):
    def makeRecord(self, name, level, fn, lno, msg, args, exc_info, func=None, extra=None):
        # Don't pass all makeRecord args to OurLogRecord bc it doesn't expect "extra"
        rv = OurLogRecord(name, level, fn, lno, msg, args, exc_info, func)
        # Handle the new extra parameter.
        # This if block was copied from Logger.makeRecord
        if extra:
            for key in extra:
                if (key in ["message", "asctime"]) or (key in rv.__dict__):
                    raise KeyError("Attempt to overwrite %r in LogRecord" % key)
                rv.__dict__[key] = extra[key]
        return rv

更新2

我用一个简单的 python 应用程序创建了一个 repo，演示了一个可能的解决方案。不过，我很想改进这一点。

xlog_example

这个例子有效地演示了通过继承重写logging.Logger类和logging.LogRecord类的技术。

两个外部项目混合到日志流中:funcname 和 username 没有使用任何 Formatters 或 Adapter .

Answer 1

在这个阶段，我相信到目前为止我所做的研究以及为总结解决方案而提供的示例足以回答我的问题。通常，有许多方法可用于包装日志记录解决方案。这个特定的问题旨在关注一个解决方案，该解决方案利用 logging.Logger 类继承，以便可以更改内部机制，但其余功能保持原样，因为它将由原始的 logging.Logger 类。

话虽如此，应谨慎使用类继承技术。日志模块提供的许多功能已经足以维护和运行稳定的日志工作流程。当目标是对日志数据的处理和导出方式进行某种根本性改变时，从 logging.Logger 类继承可能很好。

总而言之，我看到有两种包装日志记录功能的方法:

1) 传统日志记录:

这只是使用提供的日志记录方法和函数，但将它们包装在一个模块中，以便将一些通用的重复性任务组织在一个地方。通过这种方式，日志文件、日志级别、管理自定义 Filters、Adapter 等操作将变得很容易。

我不确定在这种情况下是否可以使用 class 方法(而且我不是在谈论父类(super class)方法，这是第二项的主题)，看起来当日志记录调用被包装在一个类中时，事情会变得复杂。我想听听这个问题，我一定会准备一个探讨这方面的问题。

2) 记录器继承:

此方法基于继承原始 logging.Logger 类并添加到现有方法或通过修改内部行为完全劫持它们。该机制基于以下代码:

# Register our logger.
logging.setLoggerClass(OurLogger)
my_logger = logging.getLogger("main")

从现在开始，我们依赖于我们自己的 Logger，但我们仍然能够从所有其他日志记录工具中受益:

# We still need a loggin handler.
ch = logging.StreamHandler()
my_logger.addHandler(ch)

# Confgure a formatter.
formatter = logging.Formatter('LOGGER:%(name)12s - %(levelname)7s - <%(filename)s:%(username)s:%(funcname)s> %(message)s')
ch.setFormatter(formatter)

# Example main message.
my_logger.setLevel(DEBUG)
my_logger.warn("Hi mom!")

这个例子很重要，因为它演示了两个数据位 username 和 funcname 的注入(inject)，而不使用自定义 Adapters 或 Formatters。

请参阅xlog.py repo有关此解决方案的更多信息。这是我根据other questions准备的例子和来自其他 sources 的一些代码.