python - 捕获 structlog 中的所有 stdout/stderr 以生成 JSON 日志

Question

我目前正在尝试摆脱 print() 的束缚，并开始使用 ELK 堆栈和 structlog 模块进行集中式日志收集来生成结构化 json 日志行。对于我自己使用loggingHelper模块编写的模块来说，这工作得非常好，我可以导入并使用该模块

logger = Logger()

在其他模块和脚本中。这是loggingHelper模块类:

class Logger:
    """
    Wrapper Class to import within other modules and scripts
    All the config and log binding (script
    """
    def __init__(self):
        self.__log = None
        logging.basicConfig(level=logging.DEBUG, format='%(message)s')
        structlog.configure(logger_factory=LoggerFactory(),
                            processors=[structlog.stdlib.add_log_level,
                            structlog.processors.TimeStamper(fmt="iso"),
                            structlog.processors.JSONRenderer()])
        logger = structlog.get_logger()
        main_script = os.path.basename(sys.argv[0]) if sys.argv[0] else None
        frame = inspect.stack()[1]
        log_invocation = os.path.basename(frame[0].f_code.co_filename)
        user = getpass.getuser()

        """
        Who executed the __main__, what was the executed __main__ file, 
        where did the log event happen?
        """
        self.__log = logger.bind(executedScript = main_script,
                                 logBirth = log_invocation,
                                 executingUser = user)

    def info(self, msg, **kwargs):
        self.__log.info(msg, **kwargs)

    def debug(self, msg, **kwargs):
        self.__log.debug(msg, **kwargs)

    def error(self, msg, **kwargs):
        self.__log.error(msg, **kwargs)

    def warn(self, msg, **kwargs):
        self.__log.warning(msg, **kwargs)

这会产生格式良好的输出(每行一个 JSON)，filebeat 能够读取该输出并将其转发到 Elasticsearch。然而，第三方库完全破坏了格式良好的日志。

{"executingUser": "xyz", "logBirth": "efood.py", "executedScript": "logAlot.py", "context": "SELECT displayname FROM point_of_sale WHERE name = '123'", "level": "debug", "timestamp": "2019-03-15T12:52:42.792398Z", "message": "querying local"}
{"executingUser": "xyz", "logBirth": "efood.py", "executedScript": "logAlot.py", "level": "debug", "timestamp": "2019-03-15T12:52:42.807922Z", "message": "query successful: got 0 rows"}
building service object
auth version used is: v4
Traceback (most recent call last):
  File "logAlot.py", line 26, in <module>
    ef.EfoodDataControllerMerchantCenter().get_displayname(123)
  File "/home/xyz/src/toolkit/commons/connectors/efood.py", line 1126, in get_displayname
    return efc.select_from_local(q)['displayname'].values[0]
IndexError: index 0 is out of bounds for axis 0 with size 0

正如您所看到的，来自第三方库(googleapiclient)的信息级别和错误级别消息都被打印出来，而无需通过日志处理器。

使用我编写的loggingHelper模块捕获和格式化一个脚本执行过程中发生的所有事情的最佳方法(也是最Pythonic的)是什么？这是最佳实践吗？

编辑:目前记录器确实写入 stdout 本身，然后使用 >> 和 2>&1 将其重定向到 crontab 中的文件。如果我想重定向第三方库日志记录写入 stdout/stderr 的所有内容，这对我来说似乎是不好的做法，因为这会导致循环，对吗？因此，我的目标不是重定向，而是捕获日志处理器中的所有内容。相应更改了标题。

此外，这里是我想要实现的目标的粗略概述。我非常愿意接受与此不同的一般批评和建议。

Answer 1

首先:您不应该在类初始值设定项中执行任何记录器配置(logging.basicConfig、logging.dictConfig 等) - 日志记录配置应该完成一次并且仅在进程启动时一次。 logging 模块的重点是完全解耦日志记录调用

第二点:我不是 structlog 专家(这是轻描淡写的 - 这实际上是我第一次听说这个包)，但你得到的结果是你所期望的代码片段:只有您自己的代码使用 structlog，所有其他库(stdlib 或第三部分)仍将使用 stdlib 记录器并发出纯文本日志。

从我在 structlog 文档中看到的内容来看，它似乎提供了一些方法 wrap the stdlib's loggers using the structlog.stdlib.LoggerFactory和 add specific formatters to have a more consistant output 。我还没有测试过这个(还)，官方文档有点稀疏，缺乏可用的实际示例(至少我找不到任何示例)，但是 this article似乎有一个更明确的示例(当然要适应您自己的上下文和用例)。

警告:正如我所说，我从未使用过structlog(我第一次听说这个库)，所以我可能误解了一些事情，你当然必须进行实验以找出如何正确配置整个事物以使其按预期工作。

作为旁注:在类 UNIX 系统中 stdout 应该用于程序的输出(我的意思是“预期输出”=> 程序的实际结果)，而所有错误/报告/调试消息都属于stderr。除非你有令人信服的理由否则你应该尝试并坚持这个约定(至少对于命令行工具来说，这样你就可以以unix方式链接/管道它们)。