python-2.7 - 如何使用带有URL和基本身份验证凭据的scrapy shell？

Question

我想使用scrapy shell并测试需要基本身份验证凭据的URL的响应数据。我试图检查草率的shell文档，但在那儿找不到它。

我尝试了scrapy shell 'http://user:pwd@abc.com'，但是没有用。
有人知道我能做到吗？

Answer 1

如果您只想使用 shell ，则可以执行以下操作:

$ scrapy shell

并在 shell 内:

>> from w3lib.http import basic_auth_header
>> from scrapy import Request
>> auth = basic_auth_header(your_user, your_password)
>> req = Request(url="http://example.com", headers={'Authorization': auth})
>> fetch(req)

因为 fetch使用当前请求来更新Shell session 。