python - scrapy 中 request.headers.setdefault() 的含义是什么

Question

我想用 scrapy 设置自定义 UserAgentMiddleware。但是我看到的时候并不知道request.headers.setdefault('User-Agent', ua)的 Action ，也没有找到scrapy和requests文档中的方法。

我在哪里可以找到关于它的任何解释？

Answer 1

headers 是一个普通的字典，因此 setdefault 将是一种为该字典设置值的方法如果该值不存在 已经。

解释是，仅当您尚未在蜘蛛进程中设置用户代理时，中间件才默认设置用户代理。

你可以在你的蜘蛛代码中设置这样的东西:

...
request.headers['User-Agent'] = 'My Custom User Agent'
yield request

这意味着当该代码到达中间件时，用户代理不会被覆盖或更改。

在此之前出现的其他中间件(或任何其他进程)也可以修改 User-Agent，并且不会被此代码更改，因为它尊重之前的那些设置。