python - 替换 urllib2

Question

我有一组 50 个 url...从每个 url，我正在使用 urllib2 检索一些数据。我遵循的过程(包括为每个 url 设置 cookie)如下所示:

urls = ['https://someurl', 'https://someurl', ...]
vals = []

for url in urls:
   req2 = urllib2.Request(url)
   req2.add_header('cookie', cookie)
   response = urllib2.urlopen(req2)
   data = response.read()
   vals.append(json.loads(data))

所以，基本上我是从所有这些 url 中检索数据并将其转储到 vals 列表中。 50 个 url 的整个过程大约需要 15.5 到 20 秒。我需要知道是否有任何其他 python 库，我可以通过它以更快的方式执行相同的操作..或者如果你们可以建议任何其他更快的方法来使用 urllib2 来解决这个问题，那就没问题了以及。谢谢。

Answer 1

因此，如果 15-20 秒的成本很高，您可以尝试以下几种方法:

1. 对 urllib2 本身使用线程。例如 here
2. 你可以试试pycurl。(不确定性能提升)
3. 一旦我使用 subprocess.Popen 运行 curl 命令并从 URL 获取 json 格式的响应。我用它来并行调用不同的 URL，并在它们到达时使用 Popen 对象的通信方法获取响应。