python - 即使使用 "fromEncoding=UTF-8"之后，BeautifulSoup 也无法识别 UTF-8 字符

Question

我编写了一个简单的脚本，仅获取网页并将其内容提取到标记化列表中。但是，我遇到了一个问题，当我将 BeautifulSoup 对象转换为字符串时，“、”等的 UTF-8 字符不会转换。相反，它们仍保持 unicode 格式。

当我创建 BeautifulSoup 对象时，我将源定义为 UTF-8，我什至尝试单独运行 unicode 转换，但没有任何效果。有人知道为什么会发生这种情况吗？

from urllib2 import urlopen
from bs4 import BeautifulSoup
import nltk, re, pprint

url = "http://www.bloomberg.com/news/print/2013-07-05/softbank-s-21-6-billion-bid-for-    sprint-approved-by-u-s-.html"
raw = urlopen(url).read()
soup = BeautifulSoup(raw, fromEncoding="UTF-8")
result = soup.find_all(id="story_content")
str_result = str(result)
notag = re.sub("<.*?>", " ", str_result)
output = nltk.word_tokenize(notag)
print(output)

Answer 1

您遇到问题的字符不是 " (U+0022) 和 ' (U+0027)，它们是大引号 “ (U+201C) 和 ” (U+201D) 和 ' (U+2019)。首先将它们转换为直接版本，您应该获得您期望的结果:

raw = urlopen(url).read()
original = raw.decode('utf-8')
replacement = original.replace('\u201c', '"').replace('\u201d', '"').replace('\u2019', "'")
soup = BeautifulSoup(replacement)  # Don't need fromEncoding if we're passing in Unicode

这应该使引号字符变成您期望的形式。