python - 如何将日志消息从多处理模块路由到文件？

Question

在Python docs I found that logging messages在使用多处理模块生成不同进程的 python 脚本中是可能的。

import multiprocessing
import logging

logger = multiprocessing.log_to_stderr()
logger.setLevel(logging.INFO)

所以 logger.warning('doomed') 会给我消息 'doomed'，但只发送到控制台。

如何将日志消息转换为文件？

Answer 1

多进程日志记录不是微不足道的，但也不难。你需要 logging模块。

重点是要有一个监听进程，它会通过multiprocessing queues接收所有的日志记录。 .然后，此监听器进程将使用您决定使用的任何内部处理程序来处理这些记录。在您的情况下，您可能希望使用 FileHandler或类似的。

如果您使用的是 Python 3.2 或更高版本，您将同时拥有 QueueHandler和 QueueListener在标准库中。 Quelistener 就是我之前说的监听进程(是的，它确实有一个 start() 方法)。

如果您使用的是以前的 Python 版本，请查看此 link这基本上展示了如何重写它们(以及如何使用它们)。

---

如果您需要官方文档的引用，请查看 Logging to a single file from multiple processes来自 Logging Cookbook 的 session .

您可能还对 this answer 感兴趣来自问题How should I log while using multiprocessing in Python?