python - 我正在开发一个网络抓取工具。我收到一条警告消息。我有多脆弱？

Question

我正在开发一个最终会从该网站提取数据的脚本。我收到“不安全请求警告”消息。这是一个我只会自己使用的脚本，不会用于商业用途。我对中间人的攻击有多脆弱？我对 SSL 知之甚少，也不想在运行此脚本时让自己处于危险之中。我在问我自己运行脚本是否安全，或者我是否需要研究更好的安全措施。感谢您的帮助!

导入请求

url = 'https://midwestauction.com/'    
response = requests.get(url, verify = False)    
print(response.status_code)

Answer 1

requests 不会自动下载额外的证书，但您可以自己下载，例如以下建议:https://stackoverflow.com/a/28667850/1358308

1. > ssllabs报告我们需要“Go Daddy Secure Certificate Authority - G2”并包含 SHA256 指纹 973a4127...
2. 搜索这个指向我们:https://ssl-ccp.godaddy.com/repository我们在哪里可以下载gdig2.crt.pem
3. 将其添加到 certifi PEM 文件中，我结合使用网络浏览器、Python 和 shell 脚本完成了此操作，但您可以使用 Python 完成所有操作:

import requests
import certifi

gdig2_url = 'https://ssl-ccp.godaddy.com/repository/gdig2.crt.pem'
local_pem = 'midwestauction.pem'

with open(certifi.where(), 'rb') as fd:
    pem = fd.read()

with requests.get(gdig2_url) as res:
    res.raise_for_status()
    pem += res.content

with open(local_pem, 'wb') as fd:
    fd.write(pem)

然后您可以在 Python 中使用它:

requests.get(url, verify=local_pem)