python - 如何在 scrapy 中获取原始 start_url(在重定向之前)

Question

我正在使用 Scrapy 来抓取一些页面。我从 Excel 工作表中获取 start_urls，我需要将 url 保存在项目中。

class abc_Spider(BaseSpider):
   name = 'abc'
   allowed_domains = ['abc.com']         
   wb = xlrd.open_workbook(path + '/somefile.xlsx')
   wb.sheet_names()
   sh = wb.sheet_by_name(u'Sheet1')
   first_column = sh.col_values(15)
   start_urls = first_column
   handle_httpstatus_list = [404]

   def parse(self, response):
      item = abcspiderItem()
      item['url'] = response.url

问题是 url 被重定向到其他一些 url(因此在响应 url 中给出了其他内容)。如何获取从 excel 中获取的原始 url？

Answer 1

您可以在 response.request.meta['redirect_urls'] 中找到您需要的内容。

引自 docs :

The urls which the request goes through (while being redirected) can be found in the redirect_urls Request.meta key.

希望对您有所帮助。