python - 无法将 HTML 从网站正确转换为文本

Question

编辑:我不敢相信 BeautifullSoup 实际上无法正确解析 HTML。实际上我可能做错了什么，但如果我不这样做，这就是一个非常业余的模块。

我正在尝试从网络获取文本，但我无法这样做，因为我总是在大多数句子中收到一些奇怪的字符。我从来没有得到过包含“isn't”这样的单词的句子正确。

useragent = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
request = urllib2.Request('SomeURL',None,useragent)
myreq = urllib2.urlopen(request, timeout = 5)
html = myreq.read()

#get paragraphs
soup = BeautifulSoup(html)
textList = soup.find_all('p')
mytext = ""
for par in textList:
    if len(str(par))<2000: 
    print par
    mytext +=" " +  str(par)

 print "the text is ", mytext

结果包含一些奇怪的字符:

The plural of “comedo� is comedomes�.</p>
Surprisingly, the visible black head isn’t caused by dirt

显然我想得到 is not 而不是 isn't。我该怎么办？

Answer 1

我认为问题出在您的系统输出编码上，它无法正确输出编码字符，因为它超出了显示的字符范围。

BeautifulSoup4 旨在完全支持 HTML 实体。

注意这些命令的奇怪行为:

>python temp.py
...
ed a blackhead. The plural of ÔÇ£comedoÔÇØ is comedomesÔÇØ.</p>
...

>python temp.py > temp.txt

>cat temp.txt
....
ed a blackhead. The plural of "comedo" is comedomes".</p> <p> </p> <p>Blackheads is an open and wide
....

我建议将输出写入文本文件，或者使用不同的终端/更改终端设置以支持更广泛的字符。