python - pycurl 和很多回调函数

Question

我有一个很大的 URL 列表，我必须并行下载它并检查每个响应返回的 header 之一。

我可以使用 CurlMulti用于并行化。我可以使用 /dev/null 作为 fb，因为我对正文不感兴趣，只对标题感兴趣。

但是我怎样才能检查每个标题呢？

要接收 header ，我必须设置 HEADERFUNCTION 回调。我明白了。

但是在这个回调函数中，我只得到带有标题的缓冲区。如何区分一个请求与另一个请求？

我不喜欢创建与 URL 一样多的回调函数的想法。我应该创建一些类和该类的尽可能多的实例吗？也不是很聪明。

Answer 1

我会使用 Python 的内置 httplib 和线程模块。我认为不需要第 3 方模块。