python - 我如何查看/获取 scrapy POST/GET 请求 header

Question

我想知道当 scrapy 在实时日志、shell 或任何其他类似方式中发出 POST/GET 请求时，是否有任何方法可以查看正在发送的 header 。谢谢!

Answer 1

Response 和 Request 对象都可以通过 .headers 属性获得它们的 header 。

两个对象的 header 都通过下载器和引擎之间的中间件进行修改(参见 Scrapy Architecture )。如果您创建一个新的 Request 对象，它在通过分配它们的中间件之前不会有任何 header 。

要查看请求对象，因为它将被发送出去，您需要创建一个中间件，将它放在比任何其他 header 更改中间件更靠近下载器的位置，并检查 request.headers 当时的属性。

或者，您可以通过查看 response.request.headers 来检查向 Spider 返回 Response 的请求的 header 。这可能不是您发出的 Request 对象，而是导致返回的 Response 对象的对象(例如，重定向/重试导致最初调度的 Request 对象与 response.request 中的 Request 对象不同)。当然，这需要一个 Response 对象返回给蜘蛛，所以它不会对任何没有生成响应的 Request 起作用(例如 DNS查找错误)，或通过中间件被忽略或丢弃的任何响应(例如 HTTP Status 400)。