python - utf-8中字符的编码问题

Question

我通过 a.get('href') 使用漂亮的汤库从网页获取链接。在链接中有一个奇怪的字符 ® 但当我得到它时它变成了 ®。我怎样才能正确编码？我已经在页面开头添加了# -*- coding: utf-8 -*-

r = requests.get(url)

soup = BeautifulSoup(r.text)

Answer 1

不要使用r.text ;将解码留给 BeautifulSoup :

soup = BeautifulSoup(r.content)

r.content 以字节为单位为您提供响应，无需解码。 r.text 另一方面，响应是否解码为 unicode .

发生的事情是服务器没有在响应 header 中包含字符集。在那一刻，requests遵循 HTTP RFC 2261, section 3.7.1 : text/响应默认应使用 ISO-8859-1(拉丁语 1)字符集。

对于您的 HTML 页面，该默认值是错误的，并且您得到了错误的结果； r.text将字节解码为 Latin-1，导致 Mojibake :

>>> print u'®'.encode('utf8').decode('latin1')
®

HTML 本身可以在 HTML 页面本身中包含正确的编码，格式为 <meta> tag在 HTML header 中。 BeautifulSoup 将使用该 header 并为您解码字节。

即使 <meta>缺少 header 标签，BeautifulSoup 包括其他方法 auto-detect encodings .