python - Scrapy redirect_urls exception.KeyError

Question

我是 Scrapy 和 Python 的新手，最近发布了我的第一个蜘蛛。有一个功能似乎以前有效，但现在它只适用于我试图废弃的一些网站。

代码行是:

item['url_direct'] = response.request.meta['redirect_urls']

我得到的错误是:

exceptions.KeyError: 'redirect_urls'

我已经为此苦苦挣扎了一段时间，所以非常感谢任何线索或希望有更详细的答案。 (在这里或网上没有找到类似的问题)。

Answer 1

因此，response.request.meta['redirect_urls'] 由 RedirectMiddleware 设置到请求在重定向时可能经过的任何 URL。

对于未重定向的请求，该代码将失败并返回 KeyError。

由于 response.request.meta 只是一个字典，您可以使用:

item['url_direct'] = response.request.meta.get('redirect_urls')

或者你可以在设置前检查一下:

if 'redirect_urls' in response.request.meta:
    item['url_direct'] = response.request.meta['redirect_urls']

另见:

• RedirectMiddleware docs
• how to get the original start_url in scrapy (before redirect) (相关问题)