gpt4 book ai didi

python - BeautifulSoup 无法读取 html

转载 作者:行者123 更新时间:2023-12-01 08:41:22 24 4
gpt4 key购买 nike

在调用具有特定 header 的 url 时,我设法使请求正常工作,并且在调用 r.content 时打印 html 页面。

url = 'http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=9854726.PN.&OS=PN/9854726&RS=PN/9854726'
HEADERS = { 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:63.0) Gecko/20100101 Firefox/63.0"}

r = requests.get(url, headers = HEADERS)
r = r.content

输出符合预期(这是一个缩短的版本,因为我不想发送整个 html 的垃圾邮件):

<HTML>
<HEAD>
<BASE target="_top">
<TITLE>United States Patent: 9854726</TITLE></HEAD>
<!-BUF1=9854726
BUF7=2018
BUF8=48007
BUF9=/1/
BUF51=9
-->...

但是,当我将它传递给 BeautifulSoup

soup = BeautifulSoup(r)
print soup.prettify()

它只打印出:

<html>
<head>
<base target="_top" />
<title>
United States Patent: 9854726
</title>
</head>
</html>

它不会打印出完整的 html。我想知道是否有任何快速解决方案?我尝试过用 UTF-8 对请求进行编码,但没有成功。我也尝试过使用 r.text 而不是 r.content 但无济于事。

我知道 USPO 是一个旧网站,所以如果没有任何简单的解决方案,我将尝试使用正则表达式解析它。

编辑:我刚刚想通了。问题是 BeautifulSoup 的输出格式不正确。我使用正则表达式将其删除,然后将其与原始 html 重新连接起来,它成功了!感谢您的帮助

最佳答案

HTML 文件格式错误(有意或无意)。它使用"<!-"开始评论,而不是 "<!--" ,而 BS 无法识别该评论。作为一种快速修复方法,请将不正确的标签开启器替换为正确的开启器:

soup = BeautifulSoup(r.replace("<!-", "<!--"))
print(soup.prettify())
#<html>
# <head>
# <base target="_top"/>
# <title>
# United States Patent: 9854726
# </title>
# </head>
# <!--BUF1=9854726
#BUF7=2018
#BUF8=48007
#BUF9=/1/
#BUF51=9-->
#</html>

您可以跟进 answers to another question了解如何提取评论,例如:

soup.findAll(text=lambda text: isinstance(text, bs4.Comment))
#['BUF1=9854726\nBUF7=2018\nBUF8=48007\nBUF9=/1/\nBUF51=9']

关于python - BeautifulSoup 无法读取 html,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53476049/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com