Python网络爬虫urllib.error.URLError :

Question

我正在从网络上抓取一些数据，由于我应该获取的数据很大，我同时收到了 500 多个请求(通过 urllib.request.urlopen(url)通过 multiprocessing 进行池化。

这里的问题是抛出如下错误:

urllib.error.URLError: urlopen error Temporary failure in name resolution

经过一番研究，我发现这个问题是由于请求过多时无法关闭连接造成的。但是还没有找到解决这个问题的办法。

我应该将同时连接限制在某个安全范围内，还是更改urllib 请求配置？

开发环境:

• Ubuntu 16.04
• python 3.6

Answer 1

尝试使用 Session Objects来自请求库。 如文档中所述，

The Session object allows you to persist certain parameters across requests. It also persists cookies across all requests made from the Session instance, and will use urllib3's connection pooling. So if you're making several requests to the same host, the underlying TCP connection will be reused, which can result in a significant performance increase (see HTTP persistent connection).

也许这个其他thread关于高效网络抓取的信息可以帮助您。