python - Scrapy:测试内联请求的有效方法

Question

我使用 scrapy-inline-requests 库编写了一个蜘蛛。所以我的蜘蛛中的解析方法看起来像这样:

@inline_requests
def parse(self, response1):
    item = MyItem()
    loader = ItemLoader(item=item, response=response1)

    #extracting some data from the response1

    try:
        response 2 = yield Request(some_url)
        #extracting some other data from response2
    except Exception:
            self.logger.warning("Failed request to: %s", some_url)

    yield loader.load_item()

我想有效地测试这个方法。我可以轻松编写一个测试，在其中创建一个伪造的模拟 response1 并将其传递给函数。但是，我不知道如何模拟 response2 并使用来自两个虚假响应的数据获取完整的项目。你有什么建议吗？

Answer 1

可能有点晚了，但请查看 scrapy-inline-requests 的 github 存储库中的测试:https://github.com/rmax/scrapy-inline-requests/blob/master/tests/test_inline_requests.py .

基本上，按照回调将产生这些响应的请求的顺序向回调提供响应对象列表。