Python BeautifulSoup - 在解析无效 HTML 时使用 find_next

Question

我在 python 中使用 Beautifulsoup 来解析这个 webpage .

我的目标是在标题“Autre compétitions”之后获取表格:

page = BeautifulSoup(requests.get(website_link,proxies=proxy).text,'html.parser')
page.find("h3",text=u'Autres comp\xe9titions').find_next("table")

我设法获取了该页面，但问题是我使用 find 得到的结果只是表格标题的第一个单元格:

<table class="gradient" id="tosort">
<tr>
<th class="gradient">Type</th></tr></table>

我认为问题出在页面是 unicode 格式，所以:

page = BeautifulSoup(requests.get(path,proxies=proxy).text,'html.parser')
page.find("h3",text=u'Autres comp\xe9titions'.encode('utf-8')).find_next("table")

但我得到了相同的结果。

谢谢。

Answer 1

将解析器从 html.parser 更改为 lxml 或 html5lib。

如果您没有安装任何一个解析器，here is the relevant Beautiful soup documentation on how to install different parsers .

BeautifulSoup(requests.get(website_link,proxies=proxy).text, 'lxml')

您尝试抓取的页面的 HTML 源代码无效。

我刚刚在本地对此进行了测试，lxml 和 html5lib 解析器更加宽松，它们能够正确选择 table 元素尽管 HTML 无效。根据文档，html.parser 不是很宽松，具体取决于您的 Python 版本。

更具体地说，导致 html.parser 问题的无效 HTML 是 th 元素中的杂散 div 标记:

<th class='gradient'>Type</div></td>

因此，html.parser 无法解析杂散的 div 标记，这导致它无法选择整个 表元素。