python - 在 Scrapy 中过期后获取新的 ASP.NET session ID

Question

我在 Scrapy 1.5 中编写了一个抓取工具，它成功导航到网页(在 IIS 版本 8.5 上运行 ASP.NET)，提交表单，然后开始抓取。几个小时后，所有页面开始返回空白数据。我相信发生这种情况时我的 ASP.NET session ID 即将过期。当我以相当高的速度爬行时，我永远无法浏览整个表格(几千页)，但表格不会因 session 而改变。我的方法是抓取直到页面返回空白，然后返回表单提交页面并重新提交表单。我正在跟踪页码，以便可以从上次停下的地方继续。问题是，当我重新提交表单时，页面仍然返回空白。如果我停止抓取工具，并将计数变量手动设置为抓取的最后一页，则当我重新启动抓取工具时，它可以正常工作。使用 fiddler 我可以看到唯一不同的是我有一个新的 ASP.NET session ID。所以我的问题是，如何清除我的 ASP.NET session ID，以便获得一个新 session ID 并可以继续抓取？这是蜘蛛的编辑版本:

class assessorSpider(scrapy.Spider):
    name = 'redacted'
    allowed_domains = ['redacted.redacted']
    start_urls = ['http://redacted.redacted/search.aspx']
    base_url = start_urls[0]
    rows_selector = '#T1 > tbody:nth-child(3) > tr'
    numberOfPages = -1
    count = 1

    def parse(self, response):
        #ASP.NET Session Id gets stored in the headers after initial search

        frmdata = {'id':'frmSearch', 'SearchField':'%','cmdGo':'Go'}
        yield scrapy.FormRequest(url = self.base_url, formdata = frmdata, callback = self.parse_index)
        self.log('Search submitted')

    def parse_index(self, response):
        self.log('proceeding to next page')
        rows = response.css(self.rows_selector)
        if (len(rows) < 50 and self.count != self.numberOfPages):
            self.log('Deficient rows. Resubmitting')
            yield scrapy.Request(callback=self.parse, url = self.base_url, headers='')
        self.log('Ready to yield value')
        for row in rows:
            value = {
               #a whole bunch of css selectors
            }
            yield value
        if self.numberOfPages == -1:
            self.numberOfPages = response.css('a.button::attr(href)')[2].extract().split('=')[-1]
        self.count = self.count + 1
        if self.count <= self.numberOfPages:
                self.log( self.base_url + '?page=' + str(self.count))
                yield scrapy.Request(callback=self.parse_index, url = self.base_url + '?page=' + str(self.count))

注意:我已经读到，使用过期的 ASP.NET session ID 发出请求应该会导致发出新的请求(取决于站点的设置方式)，因此 scrapy 可能不接受新的请求 session ID。我不知道如何诊断这个问题。

Answer 1

我想到了两件事:

1) 您的“开始新 session ”请求可能会被下载器拒绝:By default, it filters URLs that it's already seen ，例如您的基本网址。在“重置 session 请求”中尝试 yield scrapy.Request(callback=self.parse, url = self.base_url, dont_filter=True, headers='')

2)如果这不起作用(或者可能还不起作用):

我对 Scrapy 和 Python 还很陌生，所以可能有一种更直接的方法来“重置你的 cookie”，但指定一个新的 cookiejar 应该可以。

• https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider

cookiejar 本质上是一个类似字典的对象，用于跟踪当前 session 的 cookie。您可以使用 meta 指定 cookiejar key 。

    # Set up a new session if bad news:
    if (len(rows) < 50 and self.count != self.numberOfPages):
        self.log('Deficient rows. Resubmitting')
        yield scrapy.Request(
            callback=self.parse,
            url=self.base_url,
            dont_filter=True,
            meta={
                # Since you are already tracking a counter,
                # this might make for a reasonable "next cookiejar id" 
                'cookiejar': self.count
            }
        )

既然您指定了一个新的 cookiejar，您就处于一个新 session 中。您必须在其他请求中考虑到这一点，检查是否设置了 cookiejar，并继续传递该值。否则你最终会回到默认的 cookiejar 中。通过定义 start_requests 从一开始就管理这种期望可能是最简单的。 :

    def start_requests(self):
        return [
            scrapy.Request(
                url,
                dont_filter=True,
                meta={'cookiejar': self.count}
            ) for url in self.start_urls
        ]

现在您的其他请求对象只需要实现以下模式即可“保持在同一个 session 中”，例如在您的解析方法中:

    yield scrapy.FormRequest(
        url = self.base_url,
        formdata = frmdata,
        callback = self.parse_index,
        meta={
            'cookiejar': response.meta.get('cookiejar')
        }
    )