python - 检查用于请求 Python/Scrapy + ProxyMesh 的 IP 地址

Question

我开始使用 ProxyMesh 和 Scrapy。 ProxyMesh 应该在一个端口上提供一组 IP 地址。下面的示例代码代码在一个循环中重复，中间件被启用并且总体上工作正常。我能否跟踪(如果可以，如何跟踪？)哪个 IP 地址被用于每个特定请求？

request = scrapy.Request(producturl, self.parse_product_info)
request.meta['proxy'] = 'http://uk.proxymesh.com:xxx'
yield request

我在 SOF 上找到了类似的帖子，但没有解决这个具体问题。

Answer 1

如评论中所述，信息来自响应 header ，只需检查一下:

def parse_response(self, response):
    print response.headers

您应该会看到带有指定代理的 X-Proxymesh-Ip header 。

另一种选择是使用 crawlera它提供了更多的功能(例如 header 、 session 和 cookie 处理)和更好的文档。