python - python中的并行API请求

Question

我希望实现此处建议的线程解决方案:What is the fastest way to send 100,000 HTTP requests in Python?

我的问题是，如果我在进行 URL 调用后“做某事”是将新行附加到列表(使用 data.append)——这会导致任何问题吗？

此外，我还将使用 Python 2 并使用 urllib2——如果是 urllib2 而不是 httplib，推荐的解决方案是否会完全改变？

Answer 1

由于您正在尝试实现 IO 绑定(bind)操作，我建议您使用 gevent .这是 example .

或者使用this回答。 Gevent 不仅支持 Python 2 和 Python 3，还支持 PyPy，它也可以加速你的程序。