python - 标记转换为 HTML 实体？

Question

我正在尝试使用 BeautifulSoup 来解析一些有问题的 HTML。一种这样的 HTML 是 http://f10.5post.com/forums/showthread.php?t=1142017

发生的事情是，首先，树遗漏了页面的一大块。其次，tostring(tree)会转换像 <div> 这样的标签在页面的一半到 HTML 实体，如 </div> .例如

原文:

<div class="smallfont" align="centre">All times are GMT -4. The time now is <span class="time">02:12 PM</span>.</div>`

toString(tree)给

<div class="smallfont" align="center">All times are GMT -4. The time now is <span class="time">02:12 PM</span>.</div>

这是我的代码:

from BeautifulSoup import BeautifulSoup
import urllib2

page = urllib2.urlopen("http://f10.5post.com/forums/showthread.php?t=1142017")
soup = BeautifulSoup(page)

print soup

谢谢

Answer 1

使用beautifulsoup4和一个非常宽松 html5lib parser :

import urllib2
from bs4 import BeautifulSoup  # NOTE: importing beautifulsoup4 here

page = urllib2.urlopen("http://f10.5post.com/forums/showthread.php?t=1142017")
soup = BeautifulSoup(page, "html5lib")

print soup