python - "Memory Leak"与 grequests？

Question

这是导致内存使用量不断增加的脚本的精简版本，我看到它在 2 分钟后超过了 600MB:

import requests
import grequests

lines = (grequests.get(l.strip(), timeout=15) for l in open('links.txt') if len(l.strip()))

for r in grequests.imap(lines, size=20):
    if r.ok:
        print r.url

links.txt 是一个包含大量 url 的文件，问题发生在我收集的几大组 url 上。在我看来，响应对象可能没有被引用？

我今天更新了 gevent、requests 和 grequests，这是它​​们的版本:

In [2]: gevent.version_info
Out[2]: (1, 0, 0, 'beta', 3)

In [5]: requests.__version__
Out[5]: '0.13.5'

grequests 没有我能找到的版本号。

提前感谢您的回答。

Answer 1

这个答案只是一个别名和返回链接给可能需要这个 link 的人.

我使用 imap 函数和 requests.Session 来减少内存使用，同时在我的脚本中发出 380k 请求。