html - 使用 BeautifulSoup 超越

Question

有没有可能在标签之外使用 BeautifulSoup 。一个恰当的例子是以下页面

http://dsalsrv02.uchicago.edu/cgi-bin/app/biswas-bangala_query.py?page=1

在 html 标签结束后有数据。

Answer 1

据我所知，您可以使用 html.parser orhtml5lib对于这个特定的页面:

import requests
from bs4 import BeautifulSoup

response = requests.get("http://dsalsrv02.uchicago.edu/cgi-bin/app/biswas-bangala_query.py?page=1")

soup = BeautifulSoup(response.content, "html.parser")
# soup = BeautifulSoup(response.content, "html5lib")

lxml 解析器无法很好地处理此页面，它仅被部分解析。