python - 用于下载数据的并行化循环

Question

我是 Python 新手。我想在 Google App Engine 中运行一个简单的脚本，以尽快将许多文件检索到一个对象中。并行化是否是一个明智的选择，我将如何去做？提前感谢您的头脑 Storm

import requests

...
theData=[]
for q in range(0, len(theURLs)):

    r = requests.get(theURLs[q])
    theData.insert(q,r.text)

Answer 1

在“常规”Python 中，这非常简单。

from multiprocessing.pool import ThreadPool
import requests
responses = ThreadPool(10).map(requests.get, urls)

将 10 替换为能为您产生最佳结果的线程数。

但是您指定了 GAE，它对生成线程/进程有限制，并且它自己的异步方法包括使用 URL Fetch service 中的异步函数。 ，沿着这些线的东西(未经测试):

rpcs = [urlfetch.create_rpc() for url in urls]
for (rpc, url) in zip(rpcs, urls):
    urlfetch.make_fetch_call(rpc, url)
results = [rpc.get_result() for rpc in rpcs]

您将需要添加错误处理...