python-2.7 - Scrapy 在解析中获取请求 url

Question

如何在 Scrapy 的 parse() 中获取请求 url功能？我在 start_urls 中有很多网址其中一些将我的蜘蛛重定向到主页，结果我有一个空项目。所以我需要类似 item['start_url'] = request.url 的东西存储这些网址。我正在使用 BaseSpider。

Answer 1

传递给 parse() 的 'response' 变量包含您想要的信息。您不需要覆盖任何内容。

例如。 (已编辑)

def parse(self, response):
    print "URL: " + response.request.url