python - 如何请求多个页面而不等待输出？

Question

这个问题已经有答案了:

Ideal method for sending multiple HTTP requests over Python? [duplicate] (3 个回答)

已关闭 6 年前。

我需要请求一个 URL 列表，每次通过 POST 传递不同的变量，最重要的是，我需要保存每个请求的输出。

有没有一种方法可以让Python在后台运行多个URL请求，这样请求就不会一次完成(就像目前一样)？

for exrow in exdata:
     id = exrow['increment_id']
     mage = requests.post(complete_url, data = {'id' : id})
     output = mage.content

     if output :
          f.writelines(output + ',')

Answer 1

您想要的是异步请求。结果不会立即返回，但这只是意味着它将在后台处理，而您的代码可以继续。稍后，当您确实需要请求的内容时，您可以检索它。有几个基于请求构建的库提供 URL 的异步调用。

• grequests
• requests-futures

它们的工作方式略有不同，但希望其中之一是您可以使用的。

我对两者都没有个人经验，但它们都带有 recommendations from the official requests project .