python - 获取 Scrapy 记录器

Question

我正在使用 Core API 从脚本运行 Scrapy ，使用 CrawlerProcess 类。根据文档，Scrapy 可以使用 configure_logging 配置日志记录以这种方式运行蜘蛛时起作用。我将如何获得 Scrapy 记录器(这样我就可以添加处理程序和过滤器？)。看起来 Scrapy 在使用配置文件时使用根记录器，是否可以将其重定向到此用例的单独记录器？

Answer 1

您不需要为此目的获取记录器。只需将设置字典传递给 scrapy.utils.log.dictConfig。参见 https://docs.python.org/2/library/logging.config.html#logging.config.dictConfig .您可以使用 scrapy.utils.log.DEFAULT_LOGGING 作为引用:

DEFAULT_LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'loggers': {
        'scrapy': {
            'level': 'DEBUG',
        },
        'twisted': {
            'level': 'ERROR',
        },
    }
}

例如，

from scrapy.utils import log

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
})
log.dictConfig({
    'version': 1,
    'disable_existing_loggers': True,
    'loggers': {
        'scrapy': {
            'level': 'ERROR',
        }
    }
})

此外，如果您只想减少冗长，请查看 LOG_LEVEL Scrapy 设置。