python-3.x - Python - 请求模块 - 检索网页时出现 HTTP 500 错误

Question

此代码应下载 html 页面并将其打印到屏幕，但我却收到 HTTP 500 错误异常，我不知道如何管理。

有什么想法吗？

import requests ,bs4

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'}

#Load mainPage
_requestResult = requests.get("http://www.geometriancona.it/categoria_albo/albo/",headers = headers, timeout = 20)
_requestResult.raise_for_status()
_htmlPage = bs4.BeautifulSoup(_requestResult.text, "lxml")
print(_htmlPage)

#search for stuff in html code

Answer 1

您可以使用 urllib 模块下载单个 URL，但这只会返回数据。它不会解析 HTML 并自动下载 CSS 文件和图像等内容。如果你想下载“整个”页面，你需要发短信来解析 HTML 并找到你需要下载的其他东西。您可以使用 Beautiful Soup 之类的东西来解析您检索到的 HTML。 This question有一些示例代码正是这样做的。