python - scrapy 能同时产生请求和元素吗？

Question

当我编写 parse() 函数时，我可以为一个页面同时生成请求和项目吗？

我想在A页面中提取一些数据，然后将数据存储到数据库中，并提取要访问的链接(这可以通过CrawlSpider中的规则来完成)。

我把A页的链接页称为B页，所以我可以再写一个parse_item()从B页中提取数据，但是我想提取B页中的一些链接，所以只能用rule提取链接？如何处理 Scrapy 中的重复 URL？

Answer 1

是的，您可以同时产生请求和元素。来自 what I've seen :

def parse(self, response):
    hxs = HtmlXPathSelector(response)
    base_url = response.url
    links = hxs.select(self.toc_xpath)

    for index, link in enumerate(links):
        href, text = link.select('@href').extract(), link.select('text()').extract()
        yield Request(urljoin(base_url, href[0]), callback=self.parse2)

    for item in self.parse2(response):
        yield item