python - 如何在 scrapy 契约(Contract)中向请求添加属性

Question

如果我们使用 meta 属性或从先前解析方法传递的 Request() 对象实例化 Item 或 ItemLoader，Scrapy 合约将失败。

我在想也许重写ScrapesContract预处理请求并在 request.meta 中加载一些虚拟值，但不确定这是否是好的做法。

我在 docs 中看到了 pre_process 方法(在底部的HasHeaderContract中说明)从请求对象中获取属性，但我不确定它是否可以用于设置属性。

编辑:更多细节。来自示例爬虫的方法:

def parse_level_one(self, response):
   # populate loader
   return Request(url=url, callback=self.parse_level_two, meta={'loader': loader.load_item()})

def parse_level_two(self, response):
    """Parse product detail page

    @url http://example.com
    @scrapes some_field1 some_field2
    """
    loader = MyItemLoader(response.meta['loader'], response=response)

在客户端

$ scrapy check crawlername
Traceback... loader = MyItemLoader(response.meta['loader'], response=response)
KeyError: 'loader'

我的想法是这样的:

class LoadedScrapesContract(Contract):
    """ Contract to check presence of fields in scraped items
        @loadedscrapes page_name page_body
    """

    name = 'loadedscrapes'

    def pre_process(self, response):
        # MEDDLE WITH THE RESPONSE OBJECT HERE
        # TO ADD A META ATTRIBUTE TO RESPONSE,
        # LIKE AN EMPTY Item() or dict, JUST TO MAKE
        # THE ITEM LOADER INSTANTIATION PASS

    # this is same as ScrapesContract 
    def post_process(self, output):
        for x in output:
            if isinstance(x, BaseItem):
                for arg in self.args:
                    if not arg in x:
                        raise ContractFail("'%s' field is missing" % arg)

Answer 1

我为此找到的最佳解决方案是执行以下操作而不是破坏契约(Contract)

loader = MyItemLoader(response.meta.get('loader', MyItem()), response=response)

我更喜欢这种方法，但要坚持这个问题，请覆盖 adjust_request_args