Python3 连接被对等方重置

Question

urllib.error.URLError urlopen error [Errno 54] Connection reset by peer

当尝试获取 notino.com 时，我收到此错误。我猜这家伙用了一些聪明的方法来防止屏幕scraper。我尝试添加 header 和 cookie，但这不起作用

from urllib.request import urlopen
url = "https://www.notino.com"
html = urlopen(url)

Answer 1

自动机器人检测机制很可能会断开您的连接。您应该提供一个 User-Agent header 来伪造浏览器访问 - 对我有用:

>>> import requests
>>> response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36'})
>>> response.status_code
200

使用requests module在这个例子中。