python - 获取代理ip地址scrapy用来爬取

Question

我使用 Tor 来抓取网页。我启动了 tor 和 polipo 服务并添加了

class ProxyMiddleware(object):   # overwrite process request   def
  process_request(self, request, spider):
     # Set the location of the proxy
    request.meta['proxy'] = "127.0.0.1:8123"

现在，我如何确保 scrapy 使用不同的 IP 地址进行请求？

Answer 1

您可以放弃第一个请求来检查您的公共(public) IP，并将其与您转到 http://checkip.dyndns.org/ 时看到的 IP 进行比较不使用 Tor/VPN。如果它们不相同，显然 scrapy 使用了不同的 IP。

def start_reqests():
    yield Request('http://checkip.dyndns.org/', callback=self.check_ip)
    # yield other requests from start_urls here if needed

def check_ip(self, response):
    pub_ip = response.xpath('//body/text()').re('\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}')[0]
    print "My public IP is: " + pub_ip

    # yield other requests here if needed