python - 为什么我在抓取网站时会收到 SSL 错误？

Question

我有以下 Python 脚本来抓取网站 https://www.notebooksbilliger.de 的监视器的价格:

from lxml import html
import csv, os, json
import requests
from time import sleep

url = "https://www.notebooksbilliger.de/asus+vz239he"
headers = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36'}
page = requests.get(url, headers=headers)
doc = html.fromstring(page.content)
RAW_PRICE = doc.xpath('//div[@id="product_detail_price"]')[0].values()[4]

但我收到以下错误:urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='www.notebooksbilliger.de', port=443): Max retries exceeded with url:/asus+vz239he (Caused by SSLError (SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] 证书验证失败:证书链中的自签名证书 (_ssl.c:1045)'))

你知道我为什么会收到这个错误吗？

Answer 1

可能不是最佳实践，但对我有用:page = requests.get(url, headers=headers, verify=False)

在请求中添加了 verfiy=False