python - 如何让scrapy转到下一页？

Question

我正在尝试用 Scapy 构建抓取工具。我不明白为什么 Scrapy 不想转到下一页。我想从分页区域中提取链接..但是，唉。我提取用于转到下一页的 url 的规则

Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True)

爬虫

Class DmozSpider(CrawlSpider):
    name = "arbal"
    allowed_domains = ["bigbasket.com"]
    start_urls = [
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs"
    ]

    rules = (
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[4]/ul',allow=('pc\/.*.\?nc=cs')), follow=True),
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True),
             Rule(LinkExtractor(restrict_xpaths='//*[@id="products-container"]',allow=('pd\/*.+')), callback='parse_item', follow=True)
             )

    def parse_item(self, response):
        item = AlabaItem()
        hxs = HtmlXPathSelector(response)
        item['brand_name'] = hxs.select('.//*[contains(@id, "slidingProduct")]/div[2]/div[1]/a/text()').extract()
        item['prod_name'] =  hxs.select('//*[contains(@id, "slidingProduct")]/div[2]/div[2]/h1/text()').extract()
        yield item

Answer 1

有一个 AJAX 风格的分页，虽然不容易遵循，但可行。

使用浏览器开发人员工具，您可能会看到每次切换页面时，都会有一个 XHR 请求被发送到 http://bigbasket.com/product/facet/get-page/ 并带有 sid 和 page 参数:

问题是 sid 参数 - 这是我们将从页面上包含 sid 的第一个链接中提取的内容。

响应采用 JSON 格式，包含 products 键，它基本上是页面上 products_container block 的 HTML 代码。

请注意，CrawlSpider 在这种情况下无济于事。我们需要使用常规蜘蛛并“手动”跟踪分页。

您可能有另一个问题:我们怎么知道要跟随多少页 - 这里的想法是从页面底部的“显示 Z 产品的 X - Y”标签中提取页面上的产品总数页面，然后将产品总数除以 20(每页 20 个产品)。

实现:

import json
import urllib

import scrapy


class DmozSpider(scrapy.Spider):
    name = "arbal"
    allowed_domains = ["bigbasket.com"]
    start_urls = [
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs"
    ]

    def parse(self, response):
        # follow pagination
        num_pages = int(response.xpath('//div[@class="noItems"]/span[@class="bFont"][last()]/text()').re(r'(\d+)')[0])
        sid = response.xpath('//a[contains(@href, "sid")]/@href').re(r'sid=(\w+)(?!&|\z)')[0]

        base_url = 'http://bigbasket.com/product/facet/get-page/?'
        for page in range(1, num_pages/20 + 1):
            yield scrapy.Request(base_url + urllib.urlencode({'sid': sid, 'page': str(page)}), dont_filter=True, callback=self.parse_page)

    def parse_page(self, response):
        data = json.loads(response.body)

        selector = scrapy.Selector(text=data['products'])
        for product in selector.xpath('//li[starts-with(@id, "product")]'):
            title = product.xpath('.//div[@class="muiv2-product-container"]//img/@title').extract()[0]
            print title

对于 start_urls 中设置的页面，它会打印 281 个产品标题。