python - Tornado AsyncHttpClient 中的 Socks 代理

Question

如何在 tornado AsyncHttpClient 中使用 socks 代理？我发现可以在不更改库的情况下仅使用 HTTP 代理...

Answer 1

根据文档，代理支持仅适用于 AsyncHTTPClient 的 libcurl 实现。

如果您深入了解传递给 fetch() 方法的 HTTPRequest 对象，您会注意到有一个额外的 prepare_curl_callback 参数，它可以在发送请求之前在 PyCurl 对象上调用 setopt。

下面是此类prepare_curl_callback 函数的一个小示例:

import pycurl

def prepare_curl_socks5(curl):
    curl.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5)

还有一个完整的用法示例:

import tornado
import tornado.ioloop
import tornado.gen
import tornado.httpclient
import pycurl

def prepare_curl_socks5(curl):
    curl.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5)

@tornado.gen.coroutine
def main():
    # set CurlAsyncHTTPClient the default AsyncHTTPClient
    tornado.httpclient.AsyncHTTPClient.configure(
        "tornado.curl_httpclient.CurlAsyncHTTPClient")

    http_client = tornado.httpclient.AsyncHTTPClient()
    http_request = tornado.httpclient.HTTPRequest(
        "http://jsonip.com",
        prepare_curl_callback=prepare_curl_socks5,
        proxy_host="localhost",
        proxy_port=9050
    )
    response = yield http_client.fetch(http_request)

    print response.body

if __name__ == '__main__':
    tornado.ioloop.IOLoop.instance().run_sync(main)

fetch() 调用的附加关键字参数 prepare_curl_callback=prepare_curl_socks5 起到了神奇的作用，使 CURL 使用 SOCKS5 代理而不是默认的 HTTP 代理。