python - 登录 Scrapy

Question

我在登录 scrapy 时遇到问题，而且我能找到的大部分内容都已过时。

我已经在 settings.py 文件和文档中设置了 LOG_FILE="log.txt"，这应该有效:

Scrapy provides a logger within each Spider instance, that can be accessed and used like this:

import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['http://scrapinghub.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

但是当我这样做的时候:

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        self.logger.info("foobar")

我一无所获。如果我设置

logger = logging.basicConfig(filename="log.txt",level=logging.INFO)

在我的文件顶部，在我导入之后，它创建了一个日志文件，并且默认输出被记录得很好，但是

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        logger.info("foobar")

未能露面。我也试过将它放在类 __init__ 中，如下所示:

def __init__(self, *a, **kw):
    super(FanfictionSpider, self).__init__(*a, **kw)
    logging.basicConfig(filename="log.txt",level=logging.INFO)

我再次没有输出到文件，只是输出到控制台，并且 foobar 没有显示。有人可以指导我如何正确登录 Scrapy 吗？

Answer 1

对于日志记录，我只是把它放在蜘蛛类上:

import logging
from scrapy.utils.log import configure_logging 


class SomeSpider(scrapy.Spider):
    configure_logging(install_root_handler=False)
    logging.basicConfig(
        filename='log.txt',
        format='%(levelname)s: %(message)s',
        level=logging.INFO
    )

这会将所有 scrapy 输出作为 log.txt 文件放入项目根目录

如果您想手动记录某些内容，则不应使用 scrapy 记录器，它已被弃用。就用python的吧

import logging
logging.error("Some error")