python - imap 与 grequests 库中的 map

Question

据我所知map和imap的区别是map等待所有请求完成然后返回有序数据.而 imap 立即返回数据并减少排序。

当我使用时:

urls = [...some_data...]
rs = (grequests.get(u,, hooks=dict(response=callback_f)) for u in urls)
r = grequests.map(rs)

一旦所有请求完成，就会使用钩子(Hook)，并调用回调函数。

当我使用时:

urls = [...some_data...]
rs = (grequests.get(u,, hooks=dict(response=callback_f)) for u in urls)
r = grequests.imap(rs)

然后没有发送一个请求。

根据文档，map 和 imap 具有完全相同的 API。

这是预期的行为吗？我不应该在 imap 上使用 hooks 吗？我正在使用 Python 3.5。

Answer 1

As far as I know the difference between map and imap is that map waits for all requests to finish and then returns the ordered data. Whereas imap returns data immediately and order less.

这不是真的。 map 立即执行所有请求并返回结果(这可能需要一段时间，所以这就是为什么您可能会说“等待所有请求完成”)。

但是 imap 返回一个生成器并根据需要仅 执行请求。因此，您必须在发送请求之前开始遍历生成器。遍历生成器以获得结果:

for single_request in r:
    # so something with "single_request"