python - Scrapy:如何设置 HTTP 代理以连接到 HTTPS 网站(HTTP 有效)？

Question

我正在使用中间件来启用代理，如下所示:

我在settings.py中有这个

HTTP_PROXY='127.0.0.1:8080'

这是我的中间件

from mybot.settings import HTTP_PROXY

class ProxyMiddleware(object):
      def process_request(self, request, spider):
          request.meta['proxy'] = 'http://%s' % HTTP_PROXY

它适用于 HTTP 站点，但不适用于 HTTPS。我究竟做错了什么？我已经使用curl测试了代理，它可以毫无问题地连接到HTTPS。

这是错误:

[<twisted.python.failure.Failure <class 'twisted.internet.error.ConnectionDone'>>]

Answer 1

您需要为http和https启用代理。例如，在 Windows 中，您可以直接从 shell 执行此操作，如

set http_proxy = 127.0.0.1:8080
set https_proxy = 127.0.0.1:8080