python - 确保页面已在 Python 中正确下载

Question

我正在使用 Python 中的 Mechanize 和 BeautifulSoup (BS) 编写一个基本的屏幕抓取脚本。但是，我遇到的问题是，由于某种原因，请求的页面每次都无法正确下载。我得出这个结论是因为在使用 BS 搜索下载的页面以获取当前标签时，出现错误。如果我再次下载该页面，它就可以工作。

因此，我想编写一个小函数来检查页面是否已正确下载并在必要时重新下载(我也可以通过找出问题来解决它，但这对我来说可能太先进了)。我的问题是我将如何检查页面是否已正确下载？

Answer 1

您可以只检查您希望存在的标签，如果失败，请重复下载。

page = BeautifulSoup(page)

while page.body = None:
    #redownload the page
    page = BeautifulSoup(page)
#now you can use the data