python - python httplib 的各种超时

Question

我正在实现一个从各种服务器获取网页的小服务。我需要能够配置不同类型的超时。我尝试过使用套接字的 settimeout 方法，但它并不完全符合我的要求。这是问题所在。

1. 我需要指定初始 DNS 查找的超时。我知道这是在我开始实例化 HTTPConnection 时完成的。

2. 我的代码是这样编写的:我首先 .read 一 block 数据(大约 10 MB)，如果整个有效负载适合于此，我会继续处理其他部分的代码。如果不适合，我会直接将有效负载流式传输到文件而不是内存中。发生这种情况时，我会执行无界的 .read() 来获取数据，如果远程端每秒向我发送一个字节的数据，则连接只会继续等待每秒接收一个字节。我希望能够以“你花了太长时间”来断开连接。基于线程的解决方案将是最后的手段。

Answer 1

httplib 可以直接找到您要查找的内容。

我建议您查看http://pycurl.sourceforge.net/和 http://curl.haxx.se/libcurl/c/curl_easy_setopt.html#CURLOPTTIMEOUT选项。

http://curl.haxx.se/libcurl/c/curl_easy_setopt.html#CURLOPT_NOSIGNAL选项听起来也很有趣:

Consider building libcurl with c-ares support to enable asynchronous DNS lookups, which enables nice timeouts for name resolves without signals.