python - 网络抓取最大重试次数被拒绝

Question

我在抓取某些网站时遇到问题，而其他网站却可以正常工作。例如，这有效:

page = requests.get('https://wsj.com/', proxies=proxydict)

但这不是:

page = requests.get('https://www.privateequityinternational.com/', proxies=proxydict)

即使我只抓取了 1 页(并且之前没有抓取过)，我还是收到了“最大重试次数”错误。

我尝试过对不会抓取的网站使用 header ，但没有成功。我应该使用特定的 header 吗？如何抓取上面显示的第二个网站( www.privateequityinternational.com )？谢谢。

Answer 1

问题是该页面是通过浏览器中的 http 提供的，而不是 https，当您尝试使用 https 访问该页面时，您会收到来自 Google 的警告:

In [1]: import requests
   ...: page = requests.get('http://www.wsj.com')
   ...: 

In [2]: page
Out[2]: <Response [200]>