python - 正确的 greenlet 终止

Question

我正在使用 gevent 下载一些 html 页面。有些网站速度太慢，有些网站会在一段时间后停止服务请求。这就是为什么我必须限制我提出的一组请求的总时间。为此，我使用 gevent“Timeout”。

timeout = Timeout(10)
timeout.start()

def downloadSite():
    # code to download site's url one by one
    url1 = downloadUrl()
    url2 = downloadUrl()
    url3 = downloadUrl()
try:
    gevent.spawn(downloadSite).join()
except Timeout:
    print 'Lost state here'

但它的问题是当异常触发时我会丢失所有状态。

假设我抓取网站“www.test.com”。在站点管理员决定切换网络服务器进行维护之前，我已经设法下载了 10 个 url。在这种情况下，我将在异常触发时丢失有关已抓取页面的信息。

问题是 - 即使发生超时，我该如何保存状态和处理数据？

Answer 1

为什么不尝试这样的事情:

timeout = Timeout(10)

def downloadSite(url):
    with Timeout(10):
        downloadUrl(url)

urls = ["url1", "url2", "url3"]

workers = []
limit = 5
counter = 0
for i in urls:
    # limit to 5 URL requests at a time
    if counter < limit:
        workers.append(gevent.spawn(downloadSite, i))
        counter += 1
    else:
        gevent.joinall(workers)
        workers = [i,]
        counter = 0
gevent.joinall(workers)

您还可以将每个 URL 的状态保存在字典或其他内容中，或者将失败的状态附加到不同的数组中，以便稍后重试。