Python:同时发出多个HTTP请求

Question

我希望建立一个接受一些输入的 HTTP 服务器，然后应用程序需要同时发送多个 HTTP 请求(到另一个服务器)。最好的方法是什么？

如果我使用 Twisted 框架，我还需要使用线程吗？

Answer 1

您不必自己担心线程或线程安全。做 HTTP 请求的大部分时间都在等待响应，此时 Python 可以安全地并行运行其他代码。使用 Python 必须的一些库和内置功能来管理并发 I/O 等待。

你可以使用 gevent。 Twisted 具有类似的功能，但学习使用起来可能更复杂。还有 multiprocessing.dummy Python 的内置功能。<​​/p>

如果您使用 Twisted 以外的东西，您可以而且应该使用请求库来结合上述内容来执行 HTTP 客户端操作——您可能需要使用 grequests ，这是一种绿色线程变体，用于执行非阻塞 I/O。