Python - 使用 HTTPS 的 urllib2 异步/线程请求示例

Question

我有一段时间使用 Python 的 urllib2 让异步/线程化 HTTPS 请求工作。

有没有人有实现 urllib2.Request、urllib2.build_opener 和 urllib2.HTTPSHandler 子类的基本示例？

谢谢!

Answer 1

下面的代码同时异步执行 7 个 http 请求。它不使用线程，而是使用异步网络与 twisted图书馆。

from twisted.web import client
from twisted.internet import reactor, defer

urls = [
 'http://www.python.org', 
 'http://stackoverflow.com', 
 'http://www.twistedmatrix.com', 
 'http://www.google.com',
 'http://launchpad.net',
 'http://github.com',
 'http://bitbucket.org',
]

def finish(results):
    for result in results:
        print 'GOT PAGE', len(result), 'bytes'
    reactor.stop()

waiting = [client.getPage(url) for url in urls]
defer.gatherResults(waiting).addCallback(finish)

reactor.run()